Configure a conectividade privada para o recurso em seu VPC

info

Visualização

Esse recurso está em Public Preview.

nota

A partir de 7 de outubro de 2024, o site Databricks começou a cobrar dos clientes os custos de rede incorridos pelo serverless compute recurso conectado a um recurso externo. O faturamento da rede sem servidor está sendo implementado em fases, o que pode resultar em mudanças graduais no faturamento. Para obter mais informações sobre faturamento, consulte Entenda Databricks serverless custos de rede.

Esta página explica como usar a interface do usuário do console Databricks account para configurar conexões PrivateLink de serverless compute para recurso em sua nuvem privada virtual (VPC) por meio de um balanceador de carga de rede (NLB).

A configuração da conectividade privada para serverless compute fornece:

• Uma conexão dedicada e privada: Seu endpoint privado está vinculado exclusivamente ao seu Databricks account, garantindo que o acesso seja restrito apenas ao espaço de trabalho autorizado.
• Mitigação aprimorada da exfiltração de dados: Embora o Databricks serverless com Unity Catalog forneça proteção integrada contra a exfiltração de dados, o PrivateLink adiciona uma camada extra de defesa de rede. Ao colocar seu recurso em uma sub-rede privada e controlar o acesso por meio do serviço VPC endpoint e do endpoint dedicado VPC, o senhor reduz o risco de movimentação não autorizada de dados.

Requisitos

• O site workspace está no plano Enterprise.
• O senhor é o administrador account de seu Databricks account.
• O senhor tem pelo menos um workspace usando serverless compute.
• Cada Databricks account pode ter até 10 NCCs por região.
• Cada região pode ter 30 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
• Cada NCC pode ser conectado a até 50 espaços de trabalho.
• Cada regra endpoint privada para conectividade privada com recurso em seu VPC suporta até 10 nomes de domínio.

Etapa 1: criar um balanceador de carga de rede (NLB) no AWS

Crie um Network Load Balancer em AWS que servirá como frontend para seu recurso VNet. Para criar um NLB, siga as instruções na documentação do AWS. Configure o NLB para rotear o tráfego para o recurso de destino usando um esquema interno.

Etapa 2: Crie um serviço VPC endpoint em seu site AWS account

O senhor deve criar um serviço de endpoint VPC para expor com segurança o NLB ao seu endpoint privado. Para obter instruções, consulte a documentação do site AWS. Crie um serviço com tecnologia AWS PrivateLink...

nota

Se o seu serviço VPC endpoint estiver em us-east-1, provisione o VPC endpoint em uma ou mais das seguintes zonas de disponibilidade:

• use1-az1
• use1-az2
• use1-az4
• use1-az5
• use1-az6

Certifique-se de concluir o seguinte:

• Verifique se a caixa Aceitação obrigatória está marcada em Aceitação obrigatória para o endpoint.

• Allowlist a Databricks serverless stable IAM role. Escolha um desses dois métodos:

  • Para uma implantação simplificada :

    • Depois que seu serviço VPC endpoint for criado, navegue até a seção Allow principals tab.

      • Adicione o Databricks serverless stable IAM role à lista de permissões. Isso permite que o Databricks crie um VPC endpoint com link para o seu serviço. Use o seguinte formato: arn:aws:iam::565502421330:role/private-connectivity-role-<region>.

    • Exemplo: Para a região us-east-1, allowlist arn:aws:iam::565502421330:role/private-connectivity-role-us-east-1.

  • Para controle de permissão granular :

    • Depois que seu serviço VPC endpoint for criado, permita * na seção Allow principals tab. Isso permite que a Databricks crie um endpoint VPC para vincular ao seu serviço de endpoint VPC.

• Certifique-se de que a opção Aplicar regras de entrada no tráfego do PrivateLink não esteja selecionada.

nota

Se o recurso de destino for uma implementação RDS multi-AZ, o RDS não fornecerá IPs estáveis. Nesse caso, o IP do RDS muda sempre que ocorre o failover. Para automatizar a sincronização do endereço IP do grupo de destino do NLB, consulte Acessar o Amazon RDS entre VPCs usando o AWS PrivateLink e o Network Load Balancer.

Etapa 3: Criar um objeto de configuração de conectividade de rede (NCC)

O senhor pode pular esta etapa se houver um NCC na mesma região e AWS account que pretende usar.

1. No console da conta, clique em Recursos da nuvem .
2. Clique em Rede .
3. Clique em Configuração de conectividade de rede .
4. Clique em Adicionar configuração de conectividade de rede .
5. Insira um nome para o NCC.
6. Escolha a região. Isso deve corresponder à sua região workspace.
7. Clique em Adicionar .

Etapa 4: criar um endpoint de VPC de interface da AWS

Esta etapa vincula o serviço de endpoint da VPC ao seu NCC. Para criar um endpoint privado:

1. No console da conta, clique em Recursos da nuvem .

2. Clique em Configurações de conectividade de rede .

3. Selecione o objeto NCC que você criou na Etapa 3.

4. Na seção Private endpoint rules tab, clique em Add private endpoint rule .

5. Digite o nome completo do serviço de endpoint do AWS VPC. Esse nome de serviço estabelece a conexão com o recurso de destino do endpoint privado.

6. Forneça o(s) nome(s) de domínio totalmente qualificado (FQDNs) do recurso de destino. O nome do domínio deve corresponder ao recurso de destino referenciado no URL da conexão.

   • Exemplo: se seu destino for uma instância do RDS, o FQDN normalmente segue o formato: <RDS instance DB identifier>.<random hash>.<region>.rds.amazonaws.com.

7. Retorne às regras do Private endpoint tab da página de detalhes do NCC.

8. Selecione seu novo endpoint de VPC.

9. Copie a ID VPC endpoint .

nota

Os domínios adicionados como entradas do PrivateLink são implicitamente permitidos nas políticas de rede. Quando um domínio é removido ou o endpoint privado é excluído, pode levar até 24 horas para que os controles de política de rede apliquem totalmente a alteração.

Etapa 5: Aceitar o endpoint da VPC em seu serviço de endpoint da VPC

Depois de criar a regra de endpoint de VPC no Databricks, o senhor deve aprovar a solicitação de conexão no AWS. Para aprovar a conexão:

1. Abra o console do Amazon VPC.
2. No painel de navegação, selecione o serviço de endpoint .
3. Selecione o serviço de endpoint.
4. Nas conexões de endpoint tab, filtre a ID endpoint retornada na etapa 5 usando a caixa de pesquisa.
5. Escolha Ações . Aceitar a solicitação de conexão do endpoint.
6. Quando a confirmação for solicitada, escolha Aceitar.

Pode levar alguns minutos para que a conexão seja totalmente estabelecida.

Etapa 6: Confirmar o status do endpoint da VPC

Verifique se a conexão do endpoint da VPC foi estabelecida com sucesso. Para confirmar a conexão:

1. Atualize a página Network Connectivity Configuration (Configuração da conectividade de rede ) no console account.
2. Nas regras do Private endpoint tab, confirme se a coluna Status de seu novo private endpoint é ESTABLISHED.

Etapa 7: Anexar o NCC a um ou mais espaços de trabalho

Esta etapa associa sua conectividade privada configurada ao seu espaço de trabalho. Pule esta etapa se o site workspace já estiver conectado ao NCC desejado. Para anexar o NCC a um workspace:

1. Navegue até o espaço de trabalho na navegação à esquerda.
2. Selecione um site existente workspace.
3. Selecione Atualizar espaço de trabalho .
4. Em Network Connectivity Configuration , selecione dropdown e escolha o NCC que o senhor criou.
5. Repita o procedimento para todos os espaços de trabalho aos quais o NCC deve ser aplicado.

nota

Os NCCs são objetos regionais que só podem ser anexados ao espaço de trabalho na mesma região.

O que vem a seguir

• gerenciar regras endpoint privadas : Controle o tráfego de rede de e para o seu endpoint VPC definindo regras específicas que permitem ou negam conexões. Consulte gerenciar private endpoint rules.
• Configurar um firewall para acesso serverless compute : Implemente um firewall para restringir e proteger as conexões de rede de entrada e saída de seus ambientes serverless compute . Consulte Configurar um firewall para acesso serverless compute.
• Entenda os custos de transferência de dados e conectividade : A transferência de dados e a conectividade referem-se à movimentação de dados para dentro e para fora dos ambientes Databricks serverless . As tarifas de rede para serverless produto se aplicam apenas aos clientes que usam Databricks serverless compute. Veja Entenda Databricks serverless custos de rede.