Conceitos de Link Privado

Esta página fornece uma visão geral do Private Link no Databricks. O Private Link cria uma conexão privada e segura entre seu recurso Databricks e seu serviço AWS e recurso serverless , garantindo que seu tráfego de rede não seja exposto à internet pública.

O Databricks suporta três tipos de conectividade de Link Privado:

• Entrada (front-end): Protege as conexões de usuários a workspaces e recursos de nível de account (por exemplo: o console de account e o Genie em nível de account)
• Saída (serverless): Protege as conexões do compute serverless do Databricks com os recursos do cliente.
• Clássico (back-end): Protege conexões do compute clássico ao plano de controle

Visão geral da conectividade privada

O Private Link permite conectividade segura e privada de suas VPCs AWS e redes on-premises para o serviço AWS , garantindo que seu tráfego permaneça isolado da internet pública. Essa funcionalidade foi projetada para ajudar as organizações a atender aos requisitos de segurança e compliance , permitindo redes privadas de ponta a ponta e minimizando o risco de exfiltração de dados.

É possível habilitar conexões de Private Link de entrada (front-end), saída (serverless) ou compute clássico (back-end) independentemente, ou uma combinação das três, dependendo dos seus requisitos de segurança e compliance. Por exemplo, é possível impor conectividade privada aos seus recursos do Databricks, rejeitando automaticamente todas as conexões de rede públicas. Essa abordagem combinada oferece isolamento de rede abrangente, reduzindo sua superfície de ataque e suportando a compliance para cargas de trabalho sensíveis.

Com o Private Link, você pode:

• Bloqueie o acesso a dados provenientes de redes não autorizadas ou da internet pública ao usar o aplicativo web ou as APIs do Databricks.
• Reduza o risco de exfiltração de dados restringindo a exposição da rede apenas a endpoints privados aprovados.

Escolha a implementação correta de Link Privado.

Utilize este guia para determinar qual implementação melhor se adapta às suas necessidades.

Consideração	Somente entrada (front-end)	Somente saída (serverless)	Plano compute clássico (back-end) apenas	Isolamento privado completo
Objetivo principal de segurança	Somente pessoas autorizadas podem acessar meu recurso Databricks .	Acesso seguro a dados a partir de serverless	Bloquear plano compute clássico	Isolamento máximo (proteger tudo)
Conectividade do usuário	Privado ou público	Público (internet)	Público (internet)	Somente para uso privado
acesso a dados sem servidor	Público (internet)	Privado (para recurso do cliente)	Público (internet)	Privado (para recurso do cliente)
Conectividade do cluster com o plano de controle	Público (caminho seguro padrão)	Público (caminho seguro padrão)	Privado (obrigatório)	Privado (obrigatório)
Pré-requisitos	Plano empresarial	Plano empresarial	Plano empresarial, VPC de gerenciamento de clientes, SCC	Plano empresarial, VPC de gerenciamento de clientes, SCC
Custo relativo	Custo por endpoint e transferência de dados	Custo por endpoint e dados processados	Custo por endpoint e transferência de dados	Pode ter um custo mais elevado (todos os pontos de extremidade, incluindo transferência e processamento de dados).

Conectividade de entrada (front-end)

O Private Link de entrada protege a conexão de usuários para workspaces do Databricks e recursos de nível de account. O tráfego é roteado por um endpoint de interface de VPC na sua VPC de trânsito em vez de IPs públicos. O Private Link de entrada fornece acesso seguro a:

• Aplicativo web Databricks
• API REST
• Databricks Apps
• API Databricks Connect
• Serviços do Databricks que exigem alto desempenho
• Genie One no nível da account

Consulte Configurar link privado de front-end.

Conectividade privada de entrada para serviços de alto desempenho

Conectividade privada de entrada para serviços de alto desempenho

O Private Link para serviço de alto desempenho fornece conectividade privada aos seguintes serviços:

• Zerobus Ingest
• Escala automática Lakebase

Consulte Configurar link privado de entrada para serviço de alto desempenho.

Conectividade de saída (serverless)

O Outbound Private Link permite a conectividade privada do recurso compute serverless do Databricks para o seu recurso AWS . Ao contrário do Private Link de entrada e do plano compute clássico, que protege as conexões com o Databricks, o Private Link de saída protege as conexões da compute serverless para o recurso do seu cliente.

O Serverless Private Link utiliza Configurações de Conectividade de Rede (NCCs), que são construções regionais em nível accountque gerenciam a criação endpoint privados em nível de escalonamento. Os NCCs podem ser anexados a vários espaços de trabalho na mesma região.

Conectividade privada com buckets S3

Conectividade privada com buckets S3

info

Preview

Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.

Permite que compute serverless acesse buckets S3 na região por meio AWS Private Link, sem precisar passar pela internet pública. Seu tráfego de dados permanece inteiramente dentro da rede da AWS.

Consulte Configurar conectividade privada com buckets de armazenamento do AWS S3.

Conectividade privada ao recurso VPC

Conectividade privada ao recurso VPC

Permite que compute serverless acesse recursos em sua VPC, como bancos de dados e serviços internos, por meio de um endpoint privado.

Consulte Configurar conectividade privada ao recurso em sua VPC.

Conceitos-chave para conectividade de saída

Conceitos-chave para conectividade de saída

• Configuração de Conectividade de Rede (NCC): Uma estrutura regional em nível de account que gerencia endpoints privados e controla como o compute serverless acessa os recursos do cliente.
• Regras de endpoint privados: Defina os recursos específicos que o compute serverless pode acessar privadamente.
• Modelo de anexação de workspace: as NCCs podem ser anexadas a até 50 workspaces na mesma região.
• Limites e cotas:
  • Até 10 NCCs por região por account
  • 30 pontos de extremidade privados por região para S3 (distribuídos entre os NCCs)
  • 100 pontos de extremidade privados por região para recursos VPC (distribuídos entre os NCCs)
  • Até 50 espaços de trabalho por NCC

Conectividade privada clássica do plano compute

A conectividade privada clássica do plano compute também conhecida como Private Link, protege a conexão dos clusters Databricks com o plano de controle. Os clusters se conectam ao plano de controle para APIs REST e retransmitem a conectividade segura do cluster.

Conectividade clássica do plano compute : Endereços de link privado:

• Requisitos de compliance: Ajuda a atender a mandatos rígidos de compliance regulatório e corporativo que exigem que todo o tráfego interno da cloud permaneça em uma rede privada.
• Reforço do perímetro da rede: A implementação do Private Link do plano de compute clássico juntamente com endpoints de VPC para serviços da AWS (como S3, STS e Kinesis) permite remover gateways de internet de sua VPC. Isso reduz os riscos de exfiltração de dados, garantindo que os clusters de processamento de dados não tenham caminho para serviços ou destinos não autorizados na internet pública.

Consulte Configurar link privado de back-end.

nota

Você pode configurar a conectividade privada do plano compute clássico de forma independente; ela não requer conectividade de entrada ou serverless .

clouds privadas virtuais para conectividade privada

A conectividade privada utiliza duas clouds privadas virtuais (VPCs) distintas.

• VPC de Trânsito: Esta VPC funciona como um hub central para conectividade do usuário e contém o endpoint de VPC de entrada necessário para acesso de clientes a workspaces. É possível ter mais de uma VPC de trânsito.
• VPC do plano de compute: Esta é uma VPC que você cria para hospedar seu workspace do Databricks e endpoints de VPC clássicos.

Em algumas implementações, uma única VPC pode desempenhar ambas as funções, reutilizando o mesmo endpoint REST API/WebApp para conexões de entrada, saída e links privados clássicos do plano compute .

Alocação e dimensionamento de sub-redes

Planeje suas sub-redes em cada VPC para oferecer suporte à conectividade e implantações privadas.

• Sub-redes de trânsito da VPC:

  • Sub-rede de endpoint VPC de entrada: Aloca endereços IP para endpoints VPC de entrada.

• Sub-redes VPC do plano de compute:

  • Sub-redes de workspace: A implantação do workspace do Databricks requer pelo menos duas sub-redes em Zonas de Disponibilidade separadas. Para informações de dimensionamento relacionadas às sub-redes do workspace, consulte Sub-redes.
  • Sub-rede de endpoint da VPC: Recomenda-se uma sub-rede adicional para hospedar endpoints da VPC para a conectividade privada do plano de compute clássico.

endpoint VPC Databricks

Databricks usa tipos distintos de endpoints da VPC para privatizar o tráfego. Compreenda suas diferentes funções para implementá-las corretamente.

• Endpoint de Acesso Geral: Este é o endpoint de VPC principal para proteger o tráfego de e para seus workspaces e recursos em nível de account. Ele gerencia chamadas de API REST para Private Link de entrada e de plano de compute clássico.
• Endpoint de retransmissão SCC: Este endpoint VPC é especificamente para conectividade segura de clusters (SCC) entre o plano de compute e o plano de controle. O Private Link do plano de compute clássico exige este endpoint. Consulte O que é a conectividade segura de clusters?.
• Endpoint direto de serviço: Este endpoint é necessário para acessar serviços de alto desempenho.

dica

Dentro da mesma VPC, a Databricks recomenda no máximo um endpoint por tipo de endpoint. Compartilhe um endpoint de Acesso Geral em todo o acesso de nível de workspace e de conta e um endpoint de relay SCC para todo o acesso de relay SCC a partir dessa VPC.

Para o endpoint VPC , observe o seguinte:

• Endpoints compartilhados: os endpoints de VPC podem ser compartilhados entre vários workspaces e recursos de account em qualquer região para Acesso Geral. Para conectividade do plano de compute clássico, um único conjunto de endpoints de VPC pode atender a todos os workspaces implantados nessa VPC e região.
• Regionais: endpoint de VPC é um recurso regional. Para endpoints de retransmissão Service-Direct e SCC, workspaces em diferentes regiões exigem configurações separadas de endpoint de VPC. Para endpoints de Acesso Geral, workspaces em diferentes regiões podem compartilhar um único endpoint em qualquer região.

principais considerações

Antes de configurar a conectividade privada, tenha em mente o seguinte:

• Requisitos de ACL de rede: O Databricks exige ACLs de rede em nível de sub-rede para adicionar 0.0.0.0/0 à sua lista de permissões. Para controlar o tráfego de saída, use um firewall de saída ou um dispositivo proxy para bloquear a maior parte do tráfego, mas permita os URLs aos quais o Databricks precisa se conectar. Consulte Configurar um firewall e acesso de saída.
• Conectividade do metastore da porta 3306 (somente HMS legado): esta porta é aplicável apenas para workspaces legados usando o Hive Metastore descontinuado. Novos workspaces têm o Hive Metastore legado desabilitado por default. Para workspaces legados, a porta 3306 não usa Private Link para conectividade com o plano de controle. Para conectividade do metastore entre compute e planos de controle, o tráfego atravessa um espaço de rede publicamente roteável usando uma conexão criptografada. Os FQDNs publicamente resolvíveis para as instâncias RDS hospedadas pelo Databricks que abrigam o HMS estão disponíveis em endereços RDS para Hive metastore legado.
• Melhores práticas para grupos de segurança: Siga o princípio do menor privilégio criando grupos de segurança dedicados para seus endpoints de VPC:
  • Grupo de segurança do cluster de compute: Deve permitir tráfego TCP de saída para o grupo de segurança do endpoint de VPC nas portas necessárias (443, 3306, 6666, etc.). Consulte Grupos de segurança
  • Grupo de segurança do Endpoint VPC: Deve permitir tráfego TCP de entrada do grupo de segurança do cluster de compute nessas mesmas portas.