Pular para o conteúdo principal
Última atualização em

Configure a conectividade privada clássica com o Databricks.

Esta página fornece os passos de configuração para habilitar a conectividade privada clássica do plano compute (back-end) para AWS Private Link.

Por que criar um link privado clássico para o plano compute ?​

Configurar uma conexão Private Link clássica no plano compute oferece benefícios essenciais de segurança e compliance para seu ambiente de processamento de dados:

  • Segurança aprimorada : Impede que seus clusters Databricks se comuniquem com o plano de controle pela internet pública, isolando suas cargas de trabalho de dados das redes públicas.
  • Requisitos de conformidade : Ajuda a atender aos rigorosos requisitos compliance regulamentar e corporativa que exigem que todo o tráfego interno cloud permaneça em uma rede privada.
  • Controle de exfiltração de dados : Ao proteger a conexão do plano compute que processa ativamente os dados, você adiciona uma poderosa camada de proteção contra a exfiltração de dados.

Visão geral da arquitetura​

O link privado do plano compute clássico (plano compute clássico para plano de controle) conecta o recurso compute clássico Databricks em uma VPC do cliente ao serviço principal workspace . O Classic compute conecta-se ao plano de controle para APIs REST Databricks e retransmissão de conectividade segura cluster .

Consulte Configurar a conectividade privada clássica com o Databricks.

Requisitos​

  • Sua conta do Databricks está no nível de preço Enterprise.
  • Seu workspace Databricks deve usar uma VPC gerenciada pelo cliente para Private Link de plano de compute clássico (back-end) e para Private Link de entrada (front-end) em workspaces com um plano de compute clássico. Workspaces somente serverless e Private Link de saída (plano de compute serverless) não exigem uma VPC gerenciada pelo cliente. Um workspace com um plano de compute clássico implantado com uma VPC gerenciada pelo Databricks não pode usar o Private Link de entrada. Consulte Configurar uma VPC gerenciada pelo cliente.
  • Seu workspace Databricks deve usar conectividade cluster segura. Para adicionar o Private Link clássico do plano compute a um workspace mais antigo que não usa conectividade cluster segura, entre em contato com a equipe da sua account Databricks .
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.

Melhores práticas​

A Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

  • Compartilhar endpoint VPC : Você pode compartilhar um endpoint VPC clássico entre vários espaços de trabalho que usam a mesma VPC de gerenciamento de clientes, pois são recursos em nível VPC .
  • Sub-rede separada para endpoints VPC : Crie uma sub-rede dedicada para endpoints VPC para seguir o princípio do menor privilégio e simplificar o gerenciamento da rede.
  • Grupos de segurança separados : Utilize grupos de segurança distintos para compute clássica e endpoints VPC para impor controles de acesso granulares.
  • Planeje o dimensionamento da rede com cuidado : verifique se sua VPC e sub-redes têm espaço de endereço IP suficiente. Consulte Configurar uma VPCde gerenciamento de clientes.

Conclua os passos seguintes para configurar o Private Link de plano de computação clássico (back-end) para o seu Workspace.

Configurar objetos de rede da AWS​

Você pode usar o AWS Management Console para criar esses objetos ou automatizar o processo com ferramentas como o provedor Terraform para redes.

Configurar as definições da VPC​

  1. Se ainda não o fez, configure uma VPC para seu workspace. Você pode reutilizar uma VPC de outro workspace. Para criar uma VPC, consulte Configurar uma VPCde gerenciamento de clientes. Ao atualizar um workspace para o Private Link, verifique se ele já utiliza uma VPC de gerenciamento de clientes.
  2. Verifique se sua VPC tem tanto o nome de host DNS quanto a resolução de DNS habilitados.
  3. Selecione um bloco CIDR IPv4 para sua VPC com uma máscara de rede de pelo menos /25.

Configurar ACLs de rede​

O Databricks exige que as ACLs de rede em nível de sub-rede adicionem 0.0.0.0/0 à sua lista de permissões. Para controlar o tráfego de saída, utilize um firewall de saída ou um dispositivo proxy para bloquear a maior parte do tráfego, mas permita os URLs aos quais o Databricks precisa se conectar. Consulte Configurar um firewall e acesso de saída.

Criar sub-rede de endpoint VPC (recomendado)​

  1. Crie e configure uma sub-rede VPC extra (opcional):
    • Crie uma sub-rede dedicada para seu endpoint VPC , incluindo o endpoint VPC do link privado do plano compute e também qualquer endpoint VPC opcional para outros serviços AWS. Essa sub-rede é a que você seleciona ao criar o endpoint VPC , garantindo que ele fique isolado das sub-redes do seu workspace , mantendo a conectividade de rede.
    • Anexe uma tabela de rotas separada à sua sub-rede de endpoint VPC, diferente da tabela de rotas das suas sub-redes workspace. Essa tabela de rotas deve ter apenas uma única rota default para o site local VPC.

Criar grupos de segurança​

Para garantir uma conectividade segura, Databricks recomenda o uso de dois grupos de segurança principais em vez de grupos individuais para cada endpoint.

  • Grupo de segurança do espaço de trabalho : Aplicado ao recurso workspace .

  • Grupo de segurança endpoint de link privado : aplicado a todos os endpoints VPC . Este grupo requer regras de entrada nas portas especificadas, usando o grupo de segurança workspace como origem. Não são necessárias regras de saída para o grupo de segurança do endpoint.

  • Grupo de segurança endpoint VPC do espaço de trabalho : consulte Grupos de segurança

Se seu workspace usar o perfil de segurança de compliance, você também deverá permitir o acesso à porta 2443 para dar suporte a endpoints FIPS para a retransmissão de conectividade segura de clusters, seguindo as mesmas regras direcionais das outras portas.

nota

Security group rules are directional, so you don't need matching inbound and outbound rules on both groups. The workspace security group must allow outbound access to the Private Link endpoint security group, and the endpoint security group must allow inbound access from the workspace security group. Because security groups are stateful, return traffic is allowed automatically, so the endpoint security group doesn't need outbound rules. This least-privilege configuration is the one implemented in the Security Reference Architectures (SRA) Terraform templates.

Crie VPC endpoints​

Para o Private Link clássico do plano compute , crie um endpoint VPC para o relay de conectividade segura cluster e para o workspace, habilitando chamadas do plano compute para APIs REST Databricks . Para obter orientações sobre como gerenciar um endpoint VPC com o Console de Gerenciamento AWS , consulte os artigos AWS Criar um endpoint VPC no Console de Gerenciamento AWS. Você pode compartilhar um endpoint VPC clássico entre vários espaços de trabalho que usam a mesma VPC de gerenciamento de clientes.

Crie o endpointVPC workspace​

Para criar um endpoint VPC clássico no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região como a mesma região do site workspace.

  3. Clique em Criar ponto de extremidade .

  4. Nomeie o site endpoint, incorporando a região e a palavra workspace, como databricks-us-west-2-workspace-vpce, para o site workspace VPC endpoint.

  5. Em Categoria de serviço , selecione os serviços de endpoint que utilizam Network Load Balancers (NLBs) e Gateway Load Balancers (GWLBs) .

  6. No campo nome do serviço, cole o nome do serviço. Obtenha os domínios do serviço VPC endpoint de sua região na tabela do PrivateLink VPC endpoint serviço.

    Para o primeiro VPC endpoint que o senhor criar, copie o nome do serviço regional para o workspace.

  7. Clique em Verificar serviço e verifique se a página exibe o nome do serviço verificado em uma caixa verde. Se você encontrar um erro informando que "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem.

  8. No campo VPC campo, selecione seu workspace VPC.

  9. Na seção Sub-redes , selecione a sub-rede onde o endpoint VPC será criado. Se você criou uma sub-rede dedicada separada para o endpoint VPC , selecione essa sub-rede. Caso contrário, selecione uma das suas sub-redes workspace Databricks .

  10. Na seção **Security groups**, escolha o security group que você criou para conexões clássicas em Configurar objetos de rede AWS.

  11. Em Configurações adicionais , ative a opção Ativar nome DNS privado .

  12. Clique em Criar terminal .

Crie o endpoint VPC de retransmissão do SCC​

  1. Repita as etapas anteriores para criar o relé de conectividade de clustering seguro endpoint. Use a tabela em PrivateLink VPC endpoint serviço para obter o nome do serviço regional para o relé de conectividade de clustering seguro. A Databricks recomenda incluir a região e a palavra scc no nome do endpoint, como databricks-us-west-2-scc-vpce.
nota

Classic VPC endpoints automatically use AWS DNS resolution when you enable the Enable private DNS name option on the endpoint. If you're also configuring inbound Private Link, you need to set up DNS to route user requests to the inbound VPC endpoint. For comprehensive DNS configuration guidance, see Configure DNS for AWS inbound Private Link.

Diversos tipos de objetos são relevantes para a configuração de um link privado:

  • Registro endpoint VPC : Depois de criar os endpoints VPC no Console de Gerenciamento AWS , registre-os no Databricks para estabelecer os registros endpoint VPC . Os registros endpoint VPC não podem ser atualizados posteriormente.

    • Para endpoints VPC clássicos, verifique se o campo de região corresponde à região do seu workspace e à região do endpoint VPC AWS que você está registrando. Para o Private Link de entrada, o campo de região deve corresponder à região da sua VPC de trânsito e à região do endpoint da VPC AWS para a conexão de entrada do workspace.
    • Para registrar seu endpoint VPC clássico e de entrada, siga as instruções em Gerenciar registros endpoint VPC.

  • Configurações de rede (somente necessárias para endpoints VPC clássicos) : As configurações de rede detalham informações sobre uma VPC gerenciada pelo cliente e incluem dois campos de configuração de link privado do plano compute clássico.

    • Para criar uma configuração de rede, consulte registrar sua VPC com Databricks. Para obter os requisitos completos para VPCs, sub-redes e grupos de segurança gerenciais por cliente, consulte Configurar uma VPCgerencial por cliente. Na seção Conectividade privada de back-end , defina os campos para seus registros de endpoint VPC clássicos da seguinte forma:
    • No primeiro campo, selecione o registro VPC endpoint para o relé de conectividade de clustering seguro .
    • No segundo campo, escolha o registro VPC endpoint para o workspace (REST APIs ).
    • Depois de criar uma configuração de rede, você não poderá atualizá-la.

  • Configurações de acesso privado : O objeto de configuração de acesso privado de um workspace inclui configurações para conectividade com AWS Private Link. Você pode usar um único objeto de configurações de acesso privado para vários espaços de trabalho na mesma região AWS . Para criar um objeto de configurações de acesso privado (PAS), consulte Gerenciar configurações de acesso privado.

Seu workspace já deve estar usando um VPC gerenciado pelo cliente e uma conectividade segura de clustering.

  1. Crie um workspace seguindo as instruções aqui. Esta página explica como configurar as key definições workspace , incluindo o URL workspace , a região, a integração Unity Catalog , as configurações de credenciais e as configurações de armazenamento. Não clique no botão Salvar ainda.
  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.
  3. Em Virtual Private Cloud , no menu, escolha a configuração de rede do Databricks que o senhor criou.
  4. Abaixo do cabeçalho Private Link , clique no menu e escolha o nome do objeto de configurações de acesso privado que o senhor criou.
  5. Clique em Salvar .
nota

After you create a workspace, its status changes to RUNNING, and associated VPC network updates are immediately applied. However, wait an additional 20 minutes after the status shows RUNNING before creating or using clusters. Attempting to create or use clusters before this time could result in launch failures, errors, or other unexpected behavior.

Adicionar endpoints de VPC para outros serviços da AWS​

Ao implementar o Private Link clássico do plano compute , você deve escolher uma das duas abordagens para conectividade cluster com o serviço AWS (S3, STS, Kinesis):

  • Configuração padrão (Opção 1) : Requer acesso de saída à internet usando um gateway NAT e um gateway de internet (ou infraestrutura similar gerenciada pelo cliente), juntamente com endpoints opcionais de S3, STS e Kinesis VPC .
  • Configuração totalmente privada (Opção 2) : Elimina o gateway NAT e o gateway da internet, exigindo endpoints S3, STS e Kinesis VPC .

Opção 1: Recomendada​

Para casos de uso típicos, Databricks recomenda a criação do seguinte endpoint VPC . Isso permite que clusters e outros recursos compute no plano compute clássico se conectem diretamente ao serviço nativo AWS por meio AWS PrivateLink. Crie esses endpoints VPC na mesma sub-rede que seus endpoints VPC clássicos.

Casos de uso em que clusters não têm acesso à rede do endpoint público AWS exigem estes endpoints VPC :

Opção 2: Implantação com isolamento físico rigoroso​

Se a sua implementação exigir ambientes estritamente isolados da internet, onde compute não podem acessar a internet pública, configure um ponto de extremidade VPC adicional para substituir a conectividade do Gateway NAT e do Gateway da Internet.

Essa configuração elimina o Gateway NAT e o Gateway de Internet. Em vez disso, crie o seguinte recurso:

  1. Crie uma sub-rede privada para o endpoint da interface do serviço AWS com um intervalo CIDR mínimo de /27 .

  2. Crie um grupo de segurança para o endpoint VPC AWS com uma regra de entrada que permita o tráfego TCP na porta 443 a partir do grupo de segurança workspace .

  3. Crie um endpoint de interface VPC do STS com a seguinte configuração:

    • Nome do serviço: com.amazonaws.<region>.sts
    • Sub-rede: sub-rede do endpoint AWS
    • Grupo de segurança: Grupo de segurança de endpoint AWS
    • Ativar nome DNS privado
    • Convenção de nomenclatura: sts-<region>-vpce (por exemplo, sts-us-west-2-vpce)

  4. Crie um endpoint de interface VPC do Kinesis com a seguinte configuração:

    • Nome do serviço: com.amazonaws.<region>.kinesis-streams
    • Sub-rede: sub-rede do endpoint AWS
    • Grupo de segurança: Grupo de segurança de endpoint AWS
    • Ativar nome DNS privado
    • Convenção de nomenclatura: kinesis-<region>-vpce (por exemplo, kinesis-us-west-2-vpce)

  5. Crie um endpoint de gateway VPC S3 . Este endpoint é obrigatório e configurado da mesma forma que na configuração padrão.

Configuração centralizada endpoint​

Para centralizar seu endpoint, verifique o seguinte:

  • computar recurso resolver o nome de domínio totalmente qualificado de cada serviço para o IP privado do site correspondente VPC endpoint.
  • Existem rotas que permitem que o compute recurso alcance o endpoint VPC.

Verifique a conectividade do plano de compute clássico​

Depois de configurar o Private Link do plano de compute clássico, confirme se o seu plano de compute pode alcançar privadamente o plano de controle do Databricks. De um Notebook executando em compute clássico, chame um endpoint de API REST do workspace usando um access token pessoal. Uma resposta bem-sucedida confirma que o plano de compute alcança o workspace via Private Link.

Em uma célula de Notebook, execute o seguinte, substituindo <workspace-url> pelo URL do seu workspace e <your-pat> por um access token pessoal:

Bash
%sh curl -X GET https://<workspace-url>/api/2.0/token/list \
  -H "Authorization: Bearer <your-pat>"

O comando mágico %sh executa a solicitação do nó do driver em seu plano de compute. Se o plano de compute não conseguir alcançar o plano de controle de forma privada, a solicitação expira ou falha ao conectar. Se o teste falhar, verifique seus endpoints de VPC, resolução de DNS e regras de grupo de segurança. Consulte Configurar DNS para o Private Link de entrada da AWS.

Para confirmar que a solicitação trafega pelo Private Link em vez da internet pública, verifique se a URL do workspace resolve para o endereço IP privado do seu endpoint de VPC. Em uma célula de Notebook, execute o seguinte:

Bash
%sh nslookup <workspace-url>

O endereço resolvido deve corresponder ao IP privado do seu endpoint VPC. Se for resolvido para um endereço público, sua resolução DNS está configurada incorretamente, e o tráfego pode ser roteado pela internet pública mesmo quando a chamada da API REST for bem-sucedida.

Recursos adicionais​

Nesta página