Pular para o conteúdo principal

Habilite a conectividade privada usando o AWS PrivateLink

Esta página fornece uma visão geral do PrivateLink na Databricks e inclui etapas de configuração para ativar a conectividade privada de back-end .

Visão geral da conectividade privada​

O PrivateLink permite conectividade segura e privada de suas VPCs e redes locais AWS para o serviço AWS, garantindo que seu tráfego permaneça isolado da Internet pública. Esse recurso foi projetado para ajudar as organizações a atender aos requisitos de segurança e compliance, permitindo uma rede privada de ponta a ponta e minimizando o risco de exfiltração de dados.

O senhor pode habilitar conexões PrivateLink front-end ou back-end independentemente, ou ambas, dependendo de seus requisitos de segurança e compliance. O senhor também pode impor a conectividade privada para o workspace, fazendo com que o Databricks rejeite automaticamente todas as conexões de rede pública. Essa abordagem combinada proporciona um isolamento abrangente da rede, reduzindo a superfície de ataque e oferecendo suporte ao compliance para cargas de trabalho confidenciais.

Com o PrivateLink, você pode:

  • Bloqueie o acesso aos dados de redes não autorizadas ou da Internet pública ao usar o aplicativo da Web ou as APIs da Databricks.
  • Reduza significativamente o risco de exfiltração de dados, restringindo a exposição da rede apenas a endpoints privados aprovados.

Para implantar o PrivateLink, o senhor deve:

  • Crie objetos de configuração Databricks específicos e atualize as configurações existentes com novos campos para definir as configurações de acesso privado e o endpoint VPC permitido.
  • Escolha se deseja implementar um ou ambos os tipos de conexão, com imposição opcional para isolamento completo da rede.

O PrivateLink de back-end ( compute clássico ao plano de controle) conecta o recurso Databricks clássico compute em um cliente VPC ao serviço central workspace. clustering se conectam ao plano de controle para Databricks REST APIs e relé de conectividade de clustering seguro. O guia a seguir inclui algumas etapas de configuração que podem ser executadas usando o console Databricks account ou o API.

Requisitos​

  • Sua conta do Databricks está no nível de preço Enterprise.
  • Seu Databricks workspace deve usar um gerenciador de clientes VPC. O senhor não pode converter um workspace existente de um Databricks-gerenciar VPC para um cliente-gerenciar VPC. Consulte Configurar um gerenciador de clientes VPC. Y
  • Seu Databricks workspace deve usar conectividade segura de clustering. Para adicionar o PrivateLink de back-end a um workspace mais antigo que não usa conectividade segura de clustering, entre em contato com a equipe do Databricks account .
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Para estabelecer uma conexão PrivateLink front-end para acessar o workspace a partir de sua rede local, conecte sua rede local a um AWS VPC usando Direct Connect ou VPN.
  • Permita que o tráfego de rede de todos os espaços de endereço relevantes em sua rede local se conecte ao endpoint da VPC usando a porta TCP 443.

Etapa 1: Configurar objetos de rede do AWS​

Você pode usar o AWS Management Console para criar esses objetos ou automatizar o processo com ferramentas como o provedor Terraform para redes.

  1. Se o senhor ainda não o fez, crie um VPC para seu workspace. O senhor pode reutilizar um VPC de outro workspace. Para criar um VPC, consulte Configurar um cliente-gerenciar VPC. Se estiver atualizando um workspace para o PrivateLink, certifique-se de que ele já esteja usando um VPC gerenciado pelo cliente.

  2. Certifique-se de que sua VPC tenha os nomes de host DNS e a resolução de DNS ativados.

  3. Verifique se as network ACLs das sub-redes têm regras bidirecionais (saída e entrada) que permitam o acesso TCP a 0.0.0.0/0 para estas portas:

    • 443: para a infraestrutura do Databricks, fontes de dados em nuvem e repositórios de bibliotecas
    • 3306: para o metastore
    • 6666: para PrivateLink
    • 2443: apenas para uso com perfil de segurança de conformidade
    • 8443: para chamadas internas do plano Databricks compute para o plano de controle Databricks API
    • 8444: para registro do Unity Catalog e transmissão de dados de linhagem para o Databricks.
    • 8445 a 8451: Possibilidade de extensão futura.

  4. Crie e configure uma sub-rede VPC extra (opcional):

    • Para seu endpoint VPC, incluindo o endpoint de back-end PrivateLink VPC e também qualquer endpoint VPC opcional para outro serviço AWS, o senhor pode criá-los em qualquer uma de suas sub-redes workspace, desde que a rede possa rotear para o endpoint VPC.
    • Anexe uma tabela de rotas separada à sua sub-rede de endpoint VPC, diferente da tabela de rotas das suas sub-redes workspace. Essa tabela de rotas deve ter apenas uma única rota default para o site local VPC.

  5. Crie e configure um security group extra (recomendado, mas opcional):

    • Além do grupo de segurança padrão necessário para um workspace, crie um grupo de segurança separado que permita o acesso bidirecional (saída e entrada) de HTTPS/443 e TCP/6666 às sub-redes workspace e à sub-rede de endpoint VPC separada, se houver. Essa configuração facilita o acesso tanto para REST APIs (porta 443) quanto para a conectividade segura de clustering (6666), simplificando o gerenciamento de grupos de segurança.

      Se o seu site workspace usa o perfil de segurançacompliance, o senhor também deve permitir o acesso bidirecional (saída e entrada) à porta 2443 para dar suporte ao endpoint FIPS para o relé de conectividade de clustering seguro.

Etapa 2: Criar o endpoint VPC​

Para o PrivateLink de back-end, crie o endpoint VPC para o relé de conectividade de clustering seguro e para o workspace, permitindo chamadas de plano compute para Databricks REST APIs. Para obter orientação sobre como gerenciar o ponto de extremidade VPC com o Console de gerenciamento AWS, consulte os artigos AWS Create VPC endpoint in the AWS Management Console. O senhor pode compartilhar o endpoint de back-end VPC em vários espaços de trabalho que usam o mesmo gerenciador de clientes VPC.

Para criar o endpoint back-end VPC no console de gerenciamento AWS:

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região como a mesma região do site workspace.

  3. Clique em Criar ponto de extremidade .

  4. Nomeie o site endpoint, incorporando a região e a palavra workspace, como databricks-us-west-2-workspace-vpce, para o site workspace VPC endpoint.

  5. Em Categoria de serviço , selecione Outro endpoint serviço .

  6. No campo nome do serviço, cole o nome do serviço. Obtenha os domínios do serviço VPC endpoint de sua região na tabela do PrivateLink VPC endpoint serviço.

    Para o primeiro VPC endpoint que o senhor criar, copie o nome do serviço regional para o workspace.

  7. Clique em Verify serviço e verifique se a página mostra o nome do serviço verificado em uma caixa verde. Se o senhor encontrar um erro informando "Service name could not be verified" (O nome do serviço não pôde ser verificado), verifique se as regiões da VPC, as sub-redes e o novo endpoint da VPC correspondem.

  8. No campo VPC campo, selecione seu workspace VPC.

  9. Na seção Subnets (sub-redes ), selecione exatamente uma de suas sub-redes Databricks workspace .

  10. Na seção Grupos de segurança , selecione o grupo de segurança que criou para as conexões de back-end na Etapa 1: configurar objetos de rede do AWS.

  11. Em Configurações adicionais , ative a opção Ativar nome DNS .

  12. Clique em Criar terminal .

  13. Repita as etapas anteriores para criar o relé de conectividade de clustering seguro endpoint. Use a tabela em PrivateLink VPC endpoint serviço para obter o nome do serviço regional para o relé de conectividade de clustering seguro. A Databricks recomenda incluir a região e a palavra scc no nome do endpoint, como databricks-us-west-2-scc-vpce.

Vários tipos de objetos são relevantes para a configuração do PrivateLink:

  • VPC endpoint registros : Depois de criar o endpoint VPC no Console de gerenciamento AWS, o senhor deve registrá-lo com Databricks para estabelecer registros VPC endpoint . Os registros de endpoint VPC não podem ser atualizados posteriormente.

    • Para o endpoint VPC de back-end, certifique-se de que o campo de região corresponda à sua região workspace e à região do endpoint AWS VPC que o senhor está registrando. Para o PrivateLink de front-end, o campo de região deve corresponder à sua região de trânsito VPC e à região do AWS VPC endpoint para a conexão de front-end do workspace.
    • Para registrar seu endpoint de back-end e front-end VPC, siga as instruções em gerenciar VPC endpoint registros.

  • Configurações de rede (necessárias apenas para o endpoint de back-end VPC ) : As configurações de rede detalham as informações sobre um cliente gerenciar VPC e incluem dois campos de configuração do PrivateLink de back-end.

    • Para criar uma configuração de rede, consulte Criar configurações de rede para implantação de VPC personalizada. Para obter requisitos abrangentes para VPCs, sub-redes e grupos de segurança gerenciados pelo cliente, consulte Configurar um gerenciador de clientes VPC. Na seção Back-end private connectivity (Conectividade privada de back -end), defina os campos para seus registros de endpoint de VPC de back-end da seguinte forma:
    • No primeiro campo, selecione o registro VPC endpoint para o relé de conectividade de clustering seguro .
    • No segundo campo, escolha o registro VPC endpoint para o workspace (REST APIs ).
    • Depois de criar uma configuração de rede, você não poderá atualizá-la.

  • Configurações de acesso privado : O objeto de configuração de acesso privado de um workspaceinclui configurações para a conectividade do AWS PrivateLink. O senhor pode usar um único objeto de configurações de acesso privado para vários espaços de trabalho na mesma região AWS. Para criar um objeto de configurações de acesso privado (PAS), consulte Gerenciar configurações de acesso privado.

Seu workspace já deve estar usando um VPC gerenciado pelo cliente e uma conectividade segura de clustering.

  1. Crie um workspace usando as instruções aqui. Esta página explica como definir as configurações de key workspace , incluindo o URL workspace, a região, a integração Unity Catalog (UC), as configurações de credenciais e as configurações de armazenamento. Não clique no botão Salvar ainda.
  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.
  3. Em Virtual Private Cloud , no menu, escolha a configuração de rede do Databricks que o senhor criou.
  4. Abaixo do cabeçalho Private Link , clique no menu e escolha o nome do objeto de configurações de acesso privado que o senhor criou.
  5. Clique em Salvar .
nota

Depois que o senhor criar um workspace, seu status mudará para RUNNING, e as atualizações de rede associadas ao VPC serão aplicadas imediatamente. No entanto, o senhor deve aguardar mais 20 minutos depois que o status mostrar RUNNING para poder criar ou usar o clustering com êxito. A tentativa de criar ou usar o clustering antes desse período pode resultar em falhas de inicialização, erros ou outros comportamentos inesperados.

Etapa 5: Adicionar o endpoint VPC para outro serviço AWS​

Para casos de uso típicos,VPC é recomendável criar o seguinte endpoint. Isso permite que o clustering e outros compute recursos no plano clássico compute se conectem diretamente ao AWS serviço nativo pelo AWS PrivateLink. Crie esses pontos de extremidade VPC na mesma sub-rede do seu back-end VPC endpoint.

Esses pontos de extremidade VPC são necessários para casos de uso em que o clustering não tem acesso à rede para o ponto de extremidade público AWS:

Para centralizar seu endpoint, verifique se os seguintes itens são verdadeiros:

  • computar recurso resolver o nome de domínio totalmente qualificado de cada serviço para o IP privado do site correspondente VPC endpoint.
  • Existem rotas que permitem que o compute recurso alcance o endpoint VPC.
Última atualização em