Conceitos do PrivateLink

Esta página fornece uma visão geral do PrivateLink no Databricks. O PrivateLink cria uma conexão privada e segura entre seu recurso Databricks e seu serviço AWS e recurso serverless , garantindo que seu tráfego de rede não seja exposto à internet pública.

O Databricks suporta três tipos de conectividade PrivateLink:

• Entrada (front-end) : Garante a segurança das conexões dos usuários com o espaço de trabalho.
• Saída (serverless) : Garante conexões seguras do compute serverless Databricks para o recurso do seu cliente.
• Clássico (back-end) : Garante a segurança das conexões entre compute clássico e o plano de controle.

Visão geral da conectividade privada

O PrivateLink permite conectividade segura e privada de suas VPCs AWS e redes on-premises para os serviços AWS , garantindo que seu tráfego permaneça isolado da internet pública. Essa funcionalidade foi projetada para ajudar as organizações a atender aos requisitos de segurança e compliance , permitindo redes privadas de ponta a ponta e minimizando o risco de exfiltração de dados.

Você pode habilitar conexões PrivateLink de entrada (front-end), saída (serverless) ou compute clássica (back-end) de forma independente, ou uma combinação das três, dependendo dos seus requisitos de segurança e compliance . Você também pode impor conectividade privada para o workspace, fazendo com que Databricks rejeite automaticamente todas as conexões de rede pública. Essa abordagem combinada proporciona um isolamento de rede abrangente, reduzindo a superfície de ataque e garantindo compliance para cargas de trabalho sensíveis.

Com o PrivateLink você pode:

• Bloqueie o acesso a dados provenientes de redes não autorizadas ou da internet pública ao usar o aplicativo web ou as APIs do Databricks.
• Reduza o risco de exfiltração de dados restringindo a exposição da rede apenas a endpoints privados aprovados.

Escolha a implementação correta do PrivateLink.

Utilize este guia para determinar qual implementação melhor se adapta às suas necessidades.

Consideração	Somente entrada (front-end)	Somente saída (serverless)	Plano compute clássico (back-end) apenas	Isolamento privado completo
Objetivo principal de segurança	Somente pessoas autorizadas podem acessar meu recurso Databricks .	Acesso seguro a dados a partir de serverless	Bloquear plano compute clássico	Isolamento máximo (proteger tudo)
Conectividade do usuário	Privado ou público	Público (internet)	Público (internet)	Somente para uso privado
acesso a dados sem servidor	Público (internet)	Privado (para recurso do cliente)	Público (internet)	Privado (para recurso do cliente)
Conectividade do cluster com o plano de controle	Público (caminho seguro padrão)	Público (caminho seguro padrão)	Privado (obrigatório)	Privado (obrigatório)
Pré-requisitos	Plano empresarial, VPC de gerenciamento de clientes, SCC	Plano empresarial	Plano empresarial, VPC de gerenciamento de clientes, SCC	Plano empresarial, VPC de gerenciamento de clientes, SCC
Custo relativo	Custo por endpoint e transferência de dados	Custo por endpoint e dados processados	Custo por endpoint e transferência de dados	Pode ter um custo mais elevado (todos os pontos de extremidade, incluindo transferência e processamento de dados).

Conectividade de entrada (front-end)

O Inbound PrivateLink protege a conexão dos usuários com o workspace Databricks . O tráfego é roteado através de um endpoint de interface VPC em sua VPC de trânsito, em vez de IPs públicos. O Inbound PrivateLink fornece acesso seguro a:

• Aplicativo web Databricks
• API REST
• API Databricks Connect

Consulte Configurar o PrivateLink de front-end.

Conectividade privada de entrada para serviços de alto desempenho

info

Beta

This feature is in Beta. Workspace admins can control access to this feature from the Previews page. See Manage Databricks previews.

serviço-Direct PrivateLink fornece conectividade privada para serviços de alto desempenho:

• Zerobus Ingest
• Escala automática Lakebase

Consulte Configurar serviço-Direct PrivateLink.

Conectividade de saída (serverless)

O Outbound PrivateLink permite a conectividade privada do recurso compute serverless do Databricks para o seu recurso AWS . Ao contrário do PrivateLink de entrada e do plano compute clássico, que protege as conexões com Databricks, o PrivateLink de saída protege as conexões da compute serverless para o recurso do seu cliente.

O PrivateLink sem servidor usa Configurações de Conectividade de Rede (NCCs), que são construções regionais em nível accountque gerenciam a criação endpoint privados em escala. Os NCCs podem ser anexados a vários espaços de trabalho na mesma região.

Conectividade privada com buckets S3

info

Preview

Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.

Permite que compute serverless acesse buckets S3 na região por meio AWS PrivateLink sem atravessar a internet pública. Seu tráfego de dados permanece inteiramente dentro da rede da AWS.

Consulte Configurar conectividade privada com buckets de armazenamento do AWS S3.

Conectividade privada ao recurso VPC

Permite que compute serverless acesse recursos em sua VPC, como bancos de dados e serviços internos, por meio de um endpoint privado.

Consulte Configurar conectividade privada ao recurso em sua VPC.

Conceitos-chave para conectividade de saída

• Configuração de Conectividade de Rede (NCC) : Uma construção regional em nível accountque gerencia endpoints privados e controla como compute serverless acessa os recursos do cliente.
• Regras endpoint privado : Defina o recurso específico que compute serverless pode acessar de forma privada.
• Modelo de conexão ao espaço de trabalho : os NCCs podem ser conectados a até 50 espaços de trabalho na mesma região.
• Limites e quotas :
  • Até 10 NCCs por região por account
  • 30 pontos de extremidade privados por região para S3 (distribuídos entre os NCCs)
  • 100 pontos de extremidade privados por região para recursos VPC (distribuídos entre os NCCs)
  • Até 50 espaços de trabalho por NCC

Conectividade privada clássica do plano compute

A conectividade privada clássica do plano compute PrivateLink, protege a conexão dos clusters Databricks ao plano de controle. Os clusters se conectam ao plano de controle para APIs REST e retransmitem a conectividade segura do cluster.

Conectividade clássica do plano compute : Endereços PrivateLink:

• Requisitos de conformidade : Ajuda a atender aos rigorosos requisitos compliance regulamentar e corporativa que exigem que todo o tráfego interno cloud permaneça em uma rede privada.
• Reforço do perímetro da rede : Implementar o PrivateLink clássico do plano compute juntamente com o endpoint VPC para serviços AWS (como S3, STS e Kinesis) permite remover gateways de internet da sua VPC. Isso reduz os riscos de exfiltração de dados, garantindo que clusters de processamento de dados não tenham acesso a serviços ou destinos não autorizados na internet pública.

Consulte Configurar o PrivateLink de back-end.

nota

Você pode configurar a conectividade privada do plano compute clássico de forma independente; ela não requer conectividade de entrada ou serverless .

clouds privadas virtuais para conectividade privada

A conectividade privada utiliza duas clouds privadas virtuais (VPCs) distintas.

• VPCde trânsito : Esta VPC funciona como um hub central para a conectividade do usuário e contém o endpoint VPC de entrada necessário para o acesso do cliente ao espaço de trabalho. Você pode ter mais de uma VPC de trânsito.
• Plano de computação VPC : Esta é uma VPC que você cria para hospedar seu workspace Databricks e o endpoint VPC clássico.

Em algumas implementações, uma única VPC pode desempenhar ambas as funções, reutilizando o mesmo endpoint REST API/WebApp para PrivateLink de entrada, saída e plano compute clássico.

Alocação e dimensionamento de sub-redes

Planeje suas sub-redes em cada VPC para oferecer suporte à conectividade e implantações privadas.

• Sub-redes VPC de trânsito :

  • Sub-rede endpoint VPC de entrada : Aloca endereços IP para o ponto de extremidade VPC de entrada.

• Sub-redes VPC do plano de computação :

  • Sub-redes do espaço de trabalho : A implantação workspace Databricks requer pelo menos duas sub-redes em Zonas de Disponibilidade separadas. Para informações sobre dimensionamento relacionadas a sub-redes workspace , consulte Sub-redes.
  • Sub-rede endpoint VPC : Recomenda-se uma sub-rede adicional para hospedar o ponto de extremidade VPC para a conectividade privada do plano compute clássico.

endpoint VPC Databricks

Databricks utiliza dois tipos distintos de endpoints VPC para privatizar o tráfego. Compreenda seus diferentes papéis para desempenhá-los corretamente.

• endpointdo espaço de trabalho : Este é o endpoint VPC principal para proteger o tráfego de e para o seu workspace. Ele lida com chamadas API REST para PrivateLink tanto de entrada quanto do plano compute clássico.
• endpointde retransmissão SCC : Este endpoint VPC é específico para conectividade segura cluster (SCC) entre o plano compute e o plano de controle. O plano compute clássico PrivateLink requer este endpoint. Consulte O que é conectividade segura de cluster?

dica

Dentro da mesma VPC, a Databricks recomenda no máximo um endpoint por tipo de endpoint. Compartilhe um único endpoint workspace para todos os acessos workspace e um endpoint de retransmissão SCC para todos os acessos de retransmissão SCC dessa VPC.

Para o endpoint VPC , observe o seguinte:

• Ponto de extremidade compartilhado : um ponto de extremidade VPC pode ser compartilhado entre vários espaços de trabalho que usam a mesma VPC de gerenciamento de cliente, pois são recursos em nível de VPC . Um único conjunto de endpoints de VPC pode atender a todos os espaços de trabalho implantados nessa VPC e região.
• Específico da região : os endpoints VPC são recursos específicos da região. Espaços de trabalho em diferentes regiões exigem configurações endpoint VPC separadas.

principais considerações

Antes de configurar a conectividade privada, tenha em mente o seguinte:

• Requisitos de ACL de rede : O Databricks exige ACLs de rede em nível de sub-rede para adicionar 0.0.0.0/0 à sua lista de permissões. Para controlar o tráfego de saída, utilize um firewall de saída ou um dispositivo proxy para bloquear a maior parte do tráfego, mas permita os URLs aos quais o Databricks precisa se conectar. Consulte Configurar um firewall e acesso de saída.
• Conectividade com o metastore na porta 3306 (somente para HMS legado) : Esta porta é aplicável apenas a espaços de trabalho legados que utilizam o Hive metastore agora obsoleto. Os novos espaços de trabalho têm o Hive metastore legado desativado por default. Para ambientes de trabalho legados, a porta 3306 não utiliza PrivateLink para conectividade com o plano de controle. Para a conectividade do metastore entre os planos compute e controle, o tráfego atravessa um espaço de rede publicamente roteável usando uma conexão criptografada. Os FQDNs publicamente acessíveis para as instâncias RDS hospedadas Databricksque contêm o HMS estão disponíveis nos endereços RDS para Hive metastorelegado.
• Melhores práticas para grupos de segurança : Siga o princípio do menor privilégio criando grupos de segurança dedicados para o seu endpoint VPC :
  • Grupo de segurança cluster de computação : Deve permitir tráfego TCP de saída para o grupo de segurança do endpoint VPC nas portas necessárias (443, 3306, 6666, etc.). Consulte Grupos de segurança
  • Grupo de segurança do endpointVPC : Deve permitir tráfego TCP de entrada do grupo de segurança cluster compute nessas mesmas portas.