Pular para o conteúdo principal
Última atualização em

Configure a conectividade privada para o recurso em seu VPC

nota

Atualmente, não há cobranças de rede para recursos serverless. Em uma versão futura, você poderá ser cobrado. A Databricks fornecerá aviso prévio para alterações nos preços de rede.

Consulte Entender os custos de rede do Databricks.

info

Visualização

Esse recurso está em Prévia privada. Para experimentar, fale com o seu contato no Databricks.

Esta página explica como usar o console de account do Databricks para configurar conexões do Private Service Connect do compute Serverless para recursos em sua VPC por meio de um anexo de serviço do Google Cloud gerenciado pelo cliente.

A configuração da conectividade privada para serverless compute fornece:

  • Uma conexão dedicada e privada: seu Endpoint privado está vinculado exclusivamente à sua account do Databricks, portanto, o acesso aos seus recursos de VPC é restrito apenas a workspaces autorizados. Isso cria um canal de comunicação seguro e dedicado.
  • Mitigação aprimorada de exfiltração de dados: O Databricks serverless com Unity Catalog oferece proteção integrada contra exfiltração de dados. O Private Service Connect adiciona uma defesa na camada de rede. Colocar seus recursos de VPC em uma sub-rede privada e controlar o acesso por meio de endpoints privados dedicados reduz o risco de movimentação não autorizada de dados fora da sua rede controlada.

Requisitos​

  • Sua conta e seu workspace devem estar no plano Enterprise.
  • O senhor é o administrador account de seu Databricks account.
  • Você tem pelo menos um workspace usando compute serverless . Para regiões compatíveis, consulte a disponibilidade sem servidor.
  • A pré-visualização serverless_gcp_pl deve estar habilitada em sua account. Para solicitar acesso, entre em contato com sua equipe de conta do Databricks. A inclusão na lista de permissões pode levar até sete dias.
  • Seu anexo de serviço do Google Cloud é precedido por um balanceador de carga interno em sua VPC, na mesma região que sua NCC.
  • Cada Databricks account pode ter até 10 NCCs por região.
  • Cada região pode ter até 10 endpoints privados, distribuídos em um ou mais NCCs.
  • Cada NCC pode ser conectado a até 50 espaços de trabalho.
  • Cada regra de endpoint privado suporta até 10 nomes de domínio.
  • O Private Service Connect do compute serverless aplica-se a todos os clusters serverless em workspaces anexados à NCC.
dica

Compartilhe um NCC entre workspaces que estejam na mesma região e pertençam à mesma unidade de negócios ou ambiente, para que eles reutilizem a mesma configuração de conectividade privada.

Configurar conectividade privada no Google Cloud​

Ativar a pré-visualização​

Após sua account ser incluída na lista de permissões (consulte Requisitos), habilite a prévia chamada "Outbound (Serverless) GCP Private Link to customer-managed resources" em seu Workspace. Consulte Gerenciar prévias em nível de workspace.

Crie um anexo de serviço do Google Cloud para seu recurso​

Crie um anexo de serviço em sua VPC que publique seu recurso (banco de dados, serviço interno, aplicativo) por meio de um balanceador de carga interno.

  1. Crie um balanceador de carga TCP interno regional que direcione para o seu recurso. Para obter instruções, consulte a documentação do balanceador de carga interno do Google Cloud.
  2. Publique o balanceador de carga como um anexo de serviço. Para obter instruções, consulte Publicar um serviço na documentação do Google Cloud.
  3. Observe o URI completo de anexo de serviço no formato projects/<project-id>/regions/<region>/serviceAttachments/<name>. Você precisa deste URI ao criar a regra de endpoint privado.

O anexo de serviço deve estar na mesma região que o NCC que você criará no próximo passo.

Criar ou usar um NCC existente​

A NCC define as configurações de conectividade privada para seus workspaces. Pule este passo se uma NCC regional já existir.

  1. Como administrador da conta, vá para o console da conta.
  2. Na barra lateral, clique em Security .
  3. Clique na Networking tab .
  4. Em Configurações de conectividade de rede , clique em Adicionar configuração de conectividade de rede .
  5. Insira um nome para o NCC.
  6. Escolha a região. Isso deve corresponder à região do seu workspace e à região do seu service attachment.
  7. Clique em Adicionar .

Criar uma regra de endpoint privado​

O passo cria um endpoint do Private Service Connect gerenciado pelo Databricks que se conecta ao seu anexo de serviço.

  1. No console da conta, clique em Segurança e, em seguida, em Rede .
  2. Selecione o NCC que você criou na etapa anterior.
  3. Na guia Private endpoint rules , clique em Add private endpoint rule .
  4. No campo URI de anexo de serviço do GCP , cole a URI completa do anexo de serviço que você criou.
  5. No campo Domain names , adicione os nomes de domínio que o compute serverless usa para alcançar seu recurso. Esses domínios devem ser resolvidos diretamente para os recursos de back-end. Domínios que usam TLDs de uso privado (como .internal, .localhost ou .test) não são suportados.
  6. Clique em Adicionar .
  7. Confirme se a coluna Status da sua nova regra é CREATING, e então ela será refresh para PENDING assim que o Endpoint for provisionado.

Obter o URI do endpoint PSC​

Aguarde alguns minutos para o endpoint ser provisionado e, em seguida, capture o URI do endpoint PSC da regra. Você precisa deste URI para aprovar o endpoint no Google Cloud no próximo passo.

Faça refresh na tab Regras de Endpoint privados . Quando a regra mostrar o nome do endpoint, clique nele para visualizar o campo URI do endpoint PSC . O URI tem o formato https://www.googleapis.com/compute/v1/projects/<databricks-project>/regions/<region>/forwardingRules/<id>.

Aprovar o endpoint no Google Cloud​

Este passo ocorre em sua conta do Google Cloud, não no Databricks. Você adiciona o URI do endpoint PSC do passo anterior à lista de aceitação do consumidor no seu anexo de serviço.

  1. No console do Google Cloud, vá para Private Service Connect.
  2. Selecione o anexo do serviço que você criou anteriormente.
  3. Na seção Consumers , aprove a conexão pendente que corresponde ao URI do endpoint PSC.

Confirmar o status do endpoint​

Verifique a conexão do lado do Databricks.

  1. Refresh a tab Regras de endpoints privados no console da account.
  2. Confirme se a coluna Status da sua regra é ESTABLISHED.

Isso geralmente acontece dentro de alguns minutos após a aprovação do Google Cloud. Se o status não for atualizado, refresh a página.

Anexe a NCC a um ou mais workspaces​

Ignore este passo se o seu workspace já estiver anexado ao NCC.

  1. No console da conta, clique em Workspaces na navegação à esquerda.
  2. Selecione um workspace.
  3. Clique em Atualizar workspace .
  4. Em Network Connectivity Configuration , selecione a NCC no dropdown.
  5. Repita para cada workspace que deve usar esta NCC.
nota

NCCs are regional objects. You can only attach an NCC to workspaces in the same region.

Verificar conectividade​

Após a reinicialização do compute serverless, teste se ele consegue alcançar seu recurso por meio do endpoint privado. A verificação mais simples é abrir uma conexão TCP para a porta do seu balanceador de carga a partir de um notebook.

Em um notebook conectado a um cluster serverless em um workspace conectado ao NCC, execute:

Bash
%sh nc -vz <domain-name> <port>

Por exemplo, nc -vz staging-database.example.com 3306 para um balanceador de carga MySQL. Uma conexão bem-sucedida confirma que o endpoint privado está roteando o tráfego para seu recurso de VPC.

Limitações​

  • A regra de endpoint privado do Google Cloud não está disponível no provedor Databricks Terraform. Você pode criar o NCC e a vinculação do Workspace com o Terraform, mas deve criar a regra de Endpoint privado no console da account.
  • Nomes de domínio com TLDs de uso privado (.internal, .localhost, .test) não são suportados.

Outros recursos​

Nesta página