Pular para o conteúdo principal

Configure a conectividade privada clássica com o Databricks.

Esta página fornece os passos de configuração para habilitar a conectividade privada clássica do plano compute (back-end) para AWS Private Link.

Configurar uma conexão Private Link clássica no plano compute oferece benefícios essenciais de segurança e compliance para seu ambiente de processamento de dados:

  • Segurança aprimorada : Impede que seus clusters Databricks se comuniquem com o plano de controle pela internet pública, isolando suas cargas de trabalho de dados das redes públicas.
  • Requisitos de conformidade : Ajuda a atender aos rigorosos requisitos compliance regulamentar e corporativa que exigem que todo o tráfego interno cloud permaneça em uma rede privada.
  • Controle de exfiltração de dados : Ao proteger a conexão do plano compute que processa ativamente os dados, você adiciona uma poderosa camada de proteção contra a exfiltração de dados.

Visão geral da arquitetura​

O link privado do plano compute clássico (plano compute clássico para plano de controle) conecta o recurso compute clássico Databricks em uma VPC do cliente ao serviço principal workspace . O Classic compute conecta-se ao plano de controle para APIs REST Databricks e retransmissão de conectividade segura cluster .

Requisitos​

  • Sua conta do Databricks está no nível de preço Enterprise.
  • Seu workspace Databricks deve usar uma VPC gerenciada pelo cliente para Private Link de plano de compute clássico (back-end) e para Private Link de entrada (front-end) em workspaces com um plano de compute clássico. Workspaces somente serverless e Private Link de saída (plano de compute serverless) não exigem uma VPC gerenciada pelo cliente. Um workspace com um plano de compute clássico implantado com uma VPC gerenciada pelo Databricks não pode usar o Private Link de entrada. Consulte Configurar uma VPC gerenciada pelo cliente.
  • Seu workspace Databricks deve usar conectividade cluster segura. Para adicionar o Private Link clássico do plano compute a um workspace mais antigo que não usa conectividade cluster segura, entre em contato com a equipe da sua account Databricks .
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Seu workspace deve estar em uma região da AWS compatível com Private Link. Consulte Disponibilidade de recursos de segurança.

Melhores práticas​

A Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

  • Compartilhar endpoint VPC : Você pode compartilhar um endpoint VPC clássico entre vários espaços de trabalho que usam a mesma VPC de gerenciamento de clientes, pois são recursos em nível VPC .
  • Sub-rede separada para endpoints VPC : Crie uma sub-rede dedicada para endpoints VPC para seguir o princípio do menor privilégio e simplificar o gerenciamento da rede.
  • Grupos de segurança separados : Utilize grupos de segurança distintos para compute clássica e endpoints VPC para impor controles de acesso granulares.
  • Planeje o dimensionamento da rede com cuidado : verifique se sua VPC e sub-redes têm espaço de endereço IP suficiente. Consulte Configurar uma VPCde gerenciamento de clientes.

Conclua os passos seguintes para configurar o Private Link de plano de computação clássico (back-end) para o seu Workspace.

Configurar objetos de rede da AWS​

Você pode usar o AWS Management Console para criar esses objetos ou automatizar o processo com ferramentas como o provedor Terraform para redes.

Configurar as definições da VPC​

  1. Se ainda não o fez, configure uma VPC para seu workspace. Você pode reutilizar uma VPC de outro workspace. Para criar uma VPC, consulte Configurar uma VPCde gerenciamento de clientes. Ao atualizar um workspace para o Private Link, verifique se ele já utiliza uma VPC de gerenciamento de clientes.
  2. Verifique se sua VPC tem tanto o nome de host DNS quanto a resolução de DNS habilitados.
  3. Selecione um bloco CIDR IPv4 para sua VPC com uma máscara de rede de pelo menos /25.

Configurar ACLs de rede​

O Databricks exige que as ACLs de rede em nível de sub-rede adicionem 0.0.0.0/0 à sua lista de permissões. Para controlar o tráfego de saída, utilize um firewall de saída ou um dispositivo proxy para bloquear a maior parte do tráfego, mas permita os URLs aos quais o Databricks precisa se conectar. Consulte Configurar um firewall e acesso de saída.

Criar sub-rede de endpoint VPC (recomendado)​

  1. Crie e configure uma sub-rede VPC extra:
    • Crie uma sub-rede dedicada para seu endpoint VPC , incluindo o endpoint VPC do link privado do plano compute e também qualquer endpoint VPC opcional para outros serviços AWS. Essa sub-rede é a que você seleciona ao criar o endpoint VPC , garantindo que ele fique isolado das sub-redes do seu workspace , mantendo a conectividade de rede.
    • Anexe uma tabela de rotas separada à sua sub-rede de endpoint VPC, diferente da tabela de rotas das suas sub-redes workspace. Essa tabela de rotas deve ter apenas uma única rota default para o site local VPC.

Criar grupos de segurança​

Para garantir uma conectividade segura, o Databricks recomenda dois grupos de segurança: um para o plano de compute clássico e outro para todos os Endpoint do Private Link. As regras do grupo de segurança são direcionais, portanto, você não precisa de regras de entrada e saída correspondentes em ambos os grupos. Você configura as mesmas portas em ambos os grupos, mas em direções opostas: uma permite que o tráfego saia e a outra permite que ele entre.

  • Grupo de segurança do workspace : aplicado aos recursos de compute clássicos em sua VPC. Ao começar o compute clássico, o Databricks inicia instâncias do EC2 em sua VPC e este grupo de segurança é anexado a elas. Adicione regras de saída nas portas especificadas, usando o grupo de segurança do endpoint do Private Link como destino.
  • Grupo de segurança do Endpoint do Private Link : aplicado a todos os Endpoint da VPC. Adicione regras de entrada nas mesmas portas, usando o grupo de segurança do workspace como fonte. Regras de saída não são necessárias neste grupo.

Essa configuração de privilégio mínimo é a implementada nos padrões de Terraform de Arquiteturas de Referência de Segurança (SRA).

Para que as portas sejam abertas, consulte Grupos de segurança.

Se seu workspace usar o perfil de segurança de compliance, você também deverá permitir o acesso à porta 2443 para dar suporte a endpoints FIPS para a retransmissão de conectividade segura de clusters, seguindo as mesmas regras direcionais das outras portas.

nota

Because security groups are stateful, return traffic is allowed automatically, so the endpoint security group doesn't need outbound rules.

Crie VPC endpoints​

Para o Private Link clássico do plano compute , crie um endpoint VPC para o relay de conectividade segura cluster e para o workspace, habilitando chamadas do plano compute para APIs REST Databricks . Para obter orientações sobre como gerenciar um endpoint VPC com o Console de Gerenciamento AWS , consulte os artigos AWS Criar um endpoint VPC no Console de Gerenciamento AWS. Você pode compartilhar um endpoint VPC clássico entre vários espaços de trabalho que usam a mesma VPC de gerenciamento de clientes.

Crie o endpointVPC workspace​

Para criar um endpoint VPC clássico no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região como a mesma região do site workspace.

  3. Clique em Criar ponto de extremidade .

  4. Nomeie o site endpoint, incorporando a região e a palavra workspace, como databricks-us-west-2-workspace-vpce, para o site workspace VPC endpoint.

  5. Em Categoria de serviço , selecione os serviços de endpoint que utilizam Network Load Balancers (NLBs) e Gateway Load Balancers (GWLBs) .

  6. No campo nome do serviço, cole o nome do serviço. Obtenha os domínios do serviço VPC endpoint de sua região na tabela do PrivateLink VPC endpoint serviço.

    Para o primeiro VPC endpoint que o senhor criar, copie o nome do serviço regional para o workspace.

  7. Clique em Verificar serviço e verifique se a página exibe o nome do serviço verificado em uma caixa verde. Se você encontrar um erro informando que "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem.

  8. No campo VPC campo, selecione seu workspace VPC.

  9. Na seção Sub-redes , selecione a sub-rede onde o endpoint VPC será criado. Se você criou uma sub-rede dedicada separada para o endpoint VPC , selecione essa sub-rede. Caso contrário, selecione uma das suas sub-redes workspace Databricks .

  10. Na seção **Security groups**, escolha o security group que você criou para conexões clássicas em Configurar objetos de rede AWS.

  11. Em Configurações adicionais , ative a opção Ativar nome DNS privado .

  12. Clique em Criar terminal .

Crie o endpoint VPC de retransmissão do SCC​

  1. Repita as etapas anteriores para criar o relé de conectividade de clustering seguro endpoint. Use a tabela em PrivateLink VPC endpoint serviço para obter o nome do serviço regional para o relé de conectividade de clustering seguro. A Databricks recomenda incluir a região e a palavra scc no nome do endpoint, como databricks-us-west-2-scc-vpce.
nota

Classic VPC endpoints automatically use AWS DNS resolution when you enable the Enable private DNS name option on the endpoint. If you're also configuring inbound Private Link, you need to set up DNS to route user requests to the inbound VPC endpoint. For comprehensive DNS configuration guidance, see Configure DNS for AWS inbound Private Link.

Diversos tipos de objetos são relevantes para a configuração de um link privado:

  • Registro endpoint VPC : Depois de criar os endpoints VPC no Console de Gerenciamento AWS , registre-os no Databricks para estabelecer os registros endpoint VPC . Os registros endpoint VPC não podem ser atualizados posteriormente.

    • Para endpoints VPC clássicos, verifique se o campo de região corresponde à região do seu workspace e à região do endpoint VPC AWS que você está registrando. Para o Private Link de entrada, o campo de região deve corresponder à região da sua VPC de trânsito e à região do endpoint da VPC AWS para a conexão de entrada do workspace.
    • Para registrar seu endpoint VPC clássico e de entrada, siga as instruções em Gerenciar registros endpoint VPC.
  • Configurações de rede (somente necessárias para endpoints VPC clássicos) : As configurações de rede detalham informações sobre uma VPC gerenciada pelo cliente e incluem dois campos de configuração de link privado do plano compute clássico.

    • Para criar uma configuração de rede, consulte registrar sua VPC com Databricks. Para obter os requisitos completos para VPCs, sub-redes e grupos de segurança gerenciais por cliente, consulte Configurar uma VPCgerencial por cliente. Na seção Conectividade privada de back-end , defina os campos para seus registros de endpoint VPC clássicos da seguinte forma:
    • No primeiro campo, selecione o registro VPC endpoint para o relé de conectividade de clustering seguro .
    • No segundo campo, escolha o registro VPC endpoint para o workspace (REST APIs ).
    • Depois de criar uma configuração de rede, você não poderá atualizá-la.
  • Configurações de acesso privado : O objeto de configuração de acesso privado de um workspace inclui configurações para conectividade com AWS Private Link. Você pode usar um único objeto de configurações de acesso privado para vários espaços de trabalho na mesma região AWS . Para criar um objeto de configurações de acesso privado (PAS), consulte Gerenciar configurações de acesso privado.

Seu workspace já deve estar usando um VPC gerenciado pelo cliente e uma conectividade segura de clustering.

  1. Crie um workspace seguindo as instruções aqui. Esta página explica como configurar as key definições workspace , incluindo o URL workspace , a região, a integração Unity Catalog , as configurações de credenciais e as configurações de armazenamento. Não clique no botão Salvar ainda.
  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.
  3. Em Virtual Private Cloud , no menu, escolha a configuração de rede do Databricks que o senhor criou.
  4. Abaixo do cabeçalho Private Link , clique no menu e escolha o nome do objeto de configurações de acesso privado que o senhor criou.
  5. Clique em Salvar .
nota

After you create a workspace, its status changes to RUNNING, and associated VPC network updates are immediately applied. However, wait an additional 20 minutes after the status shows RUNNING before creating or using clusters. Attempting to create or use clusters before this time could result in launch failures, errors, or other unexpected behavior.

Adicionar endpoints de VPC para outros serviços da AWS​

Ao implementar o Private Link clássico do plano compute , você deve escolher uma das duas abordagens para conectividade cluster com o serviço AWS (S3, STS, Kinesis):

  • Configuração padrão (Opção 1) : Requer acesso de saída à internet usando um gateway NAT e um gateway de internet (ou infraestrutura similar gerenciada pelo cliente), juntamente com endpoints opcionais de S3, STS e Kinesis VPC .
  • Configuração totalmente privada (Opção 2) : Elimina o gateway NAT e o gateway da internet, exigindo endpoints S3, STS e Kinesis VPC .

Opção 1: Recomendada​

Para casos de uso típicos, Databricks recomenda a criação do seguinte endpoint VPC . Isso permite que clusters e outros recursos compute no plano compute clássico se conectem diretamente ao serviço nativo AWS por meio AWS PrivateLink. Crie esses endpoints VPC na mesma sub-rede que seus endpoints VPC clássicos.

Casos de uso em que clusters não têm acesso à rede do endpoint público AWS exigem estes endpoints VPC :

Opção 2: Implantação com isolamento físico rigoroso​

Se a sua implementação exigir ambientes estritamente isolados da internet, onde compute não podem acessar a internet pública, configure um ponto de extremidade VPC adicional para substituir a conectividade do Gateway NAT e do Gateway da Internet.

Essa configuração elimina o Gateway NAT e o Gateway de Internet. Em vez disso, crie o seguinte recurso:

  1. Crie uma sub-rede privada para o endpoint da interface do serviço AWS com um intervalo CIDR mínimo de /27 .

  2. Crie um grupo de segurança para o endpoint VPC AWS com uma regra de entrada que permita o tráfego TCP na porta 443 a partir do grupo de segurança workspace .

  3. Crie um endpoint de interface VPC do STS com a seguinte configuração:

    • Nome do serviço: com.amazonaws.<region>.sts
    • Sub-rede: sub-rede do endpoint AWS
    • Grupo de segurança: Grupo de segurança de endpoint AWS
    • Ativar nome DNS privado
    • Convenção de nomenclatura: sts-<region>-vpce (por exemplo, sts-us-west-2-vpce)
  4. Crie um endpoint de interface VPC do Kinesis com a seguinte configuração:

    • Nome do serviço: com.amazonaws.<region>.kinesis-streams
    • Sub-rede: sub-rede do endpoint AWS
    • Grupo de segurança: Grupo de segurança de endpoint AWS
    • Ativar nome DNS privado
    • Convenção de nomenclatura: kinesis-<region>-vpce (por exemplo, kinesis-us-west-2-vpce)
  5. Crie um endpoint de gateway VPC S3 . Este endpoint é obrigatório e configurado da mesma forma que na configuração padrão.

Configuração centralizada endpoint​

Para centralizar seu endpoint, verifique o seguinte:

  • computar recurso resolver o nome de domínio totalmente qualificado de cada serviço para o IP privado do site correspondente VPC endpoint.
  • Existem rotas que permitem que o compute recurso alcance o endpoint VPC.

Verifique a conectividade do plano de compute clássico​

Depois de configurar o Private Link do plano de compute clássico, confirme se o seu plano de compute pode acessar o plano de controle Databricks de forma privada. A partir de um notebook executado em um compute clássico, chame um endpoint da API REST do workspace usando a autenticação integrada do notebook. Você não precisa criar um access token pessoal ou uma credencial OAuth.

Em uma célula de notebook Python, execução o seguinte:

Python
import requests

workspace_url = spark.conf.get("spark.databricks.workspaceUrl")
token = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

response = requests.get(
f"https://{workspace_url}/api/2.0/preview/scim/v2/Me",
headers={"Authorization": f"Bearer {token}"},
timeout=15,
)
print(workspace_url, response.status_code)

A solicitação entra em execução a partir do nó Driver no seu plano de compute e usa tokens de curta duração com escopo para sua sessão de Notebooks.

Qualquer resposta HTTP confirma que o compute plane alcançou o control plane. Isso inclui 200, e também 401 ou 403, que apontam para um problema de autenticação ou permissões, não de rede. Se o compute plane não conseguir alcançar o control plane de forma privada, a solicitação atingirá o tempo limite ou não conseguirá se conectar. Se o teste falhar, verifique seus Endpoint da VPC, resolução DNS e regras de security group. Consulte Configurar DNS para Private Link de entrada da AWS.

Para confirmar que a solicitação viaja através do Private Link e não pela internet pública, verifique se a URL do workspace é resolvida para o endereço IP privado do seu endpoint da VPC. Em uma célula de notebook, execução o seguinte, substituindo <workspace-url> pelo valor impresso pela célula anterior:

Bash
%sh nslookup <workspace-url>

O endereço resolvido deve corresponder ao IP privado do seu endpoint VPC. Se for resolvido para um endereço público, sua resolução DNS está configurada incorretamente, e o tráfego pode ser roteado pela internet pública mesmo quando a chamada da API REST for bem-sucedida.

Recursos adicionais​