Conceitos do Private Service Connect
Esta página fornece uma visão geral do Private Service Connect no Databricks on Google Cloud. O Private Service Connect cria uma conexão privada e segura entre seus recursos do Databricks e seus serviços do Google Cloud, garantindo que o tráfego da sua rede não seja exposto à internet pública.
O Databricks oferece suporte aos seguintes tipos de conectividade do Private Service Connect no Google Cloud:
- Entrada : Protege as conexões de usuários para workspaces
- Saída (serverless) : Protege conexões do compute serverless do Databricks para recursos em sua Virtual Private Cloud (VPC)
- Plano de compute clássico : Protege as conexões do compute clássico ao plano de controle
Ao contrário do AWS PrivateLink e do Azure Private Link, o Databricks on Google Cloud não oferece suporte atualmente ao Private Service Connect de entrada para serviços de alto desempenho (Zerobus Ingest, Lakebase Autoscaling). A conectividade geral de entrada e do plano de compute clássico está disponível de forma geral; a conectividade de saída Serverless está em Private Preview.
Visão geral da conectividade privada
O Private Service Connect permite conectividade segura e privada de suas redes VPC do Google Cloud e redes on-premises para os serviços do Databricks, mantendo seu tráfego isolado da internet pública. A rede privada de ponta a ponta ajuda você a atender aos requisitos de segurança e compliance e reduz o risco de exfiltração de dados.
Você pode ativar as conexões do Private Service Connect de entrada e do plano de compute clássico de forma independente ou conjunta, dependendo dos seus requisitos de segurança e compliance. A ativação de ambos torna privados os caminhos de tráfego do usuário e do compute clássico, mas não bloqueia, por si só, o acesso público ao workspace. Para bloquear o acesso público, desative o acesso público no seu objeto de configurações de acesso privado. Se, em vez disso, você deixar o acesso público ativado, poderá usar listas de acesso IP para controlar quais endereços IP públicos podem acessar o workspace. Consulte Configurar o Private Service Connect de entrada.
Com o Private Service Connect, você pode:
- Bloqueie o acesso a dados provenientes de redes não autorizadas ou da internet pública ao usar o aplicativo web ou as APIs do Databricks.
- Reduza o risco de exfiltração de dados restringindo a exposição da rede apenas a endpoints privados aprovados.
Terminologia
Os seguintes termos do Google Cloud e do Databricks descrevem a configuração do Private Service Connect:
Termo | Descrição |
|---|---|
Google Cloud Private Service Connect | Um recurso do Google Cloud que fornece conectividade privada entre redes VPC e serviços do Google Cloud. O Databricks usa o Private Service Connect para conexões privadas entre suas VPCs e os serviços do Databricks. |
Projeto de host | Em configurações de VPC compartilhada, o projeto do Google Cloud onde as VPCs são criadas. Usado tanto para a VPC do plano de compute clássico quanto para a VPC de trânsito. |
Projeto de serviço | Em configurações de VPC compartilhada, o projeto do Google Cloud que contém os recursos de compute do workspace. |
Endpoint do Private Service Connect (endpoint de VPC) | Uma conexão privada de uma rede VPC para um serviço publicado pelo Databricks. Os Endpoint têm endereços IP internos em uma rede VPC de consumidor e são acessíveis a clientes nessa rede. |
VPC de trânsito | A rede VPC que hospeda o endpoint de entrada do Private Service Connect e roteia o tráfego dos clientes para o Databricks. Nos termos do Google Cloud, esta é normalmente a VPC usada para Endpoint de entrada do Private serviço Connect. |
VPC do plano de computação clássico | A rede VPC que hospeda os recursos de compute do seu workspace do Databricks. Nos termos do Google Cloud, esta é normalmente a VPC usada para o Private Serviço Connect do plano de compute clássico. |
Anexo do serviço | Um recurso do Google Cloud que publica um serviço para consumidores. O Databricks publica anexos de serviço regionais aos quais você se conecta a partir da sua VPC. |
Workspace privado | Um workspace onde as VMs do plano de computação clássico não possuem endereços IP públicos. No Google Cloud, o Databricks cria clusters sem IPs públicos por default. |
Escolha a implementação correta do Private serviço Connect
Use este guia para determinar qual implementação atende às suas necessidades.
Consideração | Somente entrada | Somente plano de compute clássico | Isolamento privado completo |
|---|---|---|---|
Objetivo principal de segurança | Somente pessoas autorizadas podem acessar meu recurso Databricks . | Bloquear plano compute clássico | Isolamento máximo (proteger tudo) |
Conectividade do usuário | Privado ou público | Público (internet) | Somente para uso privado |
Conectividade do cluster com o plano de controle | Público (caminho seguro padrão) | Privado (obrigatório) | Privado (obrigatório) |
Pré-requisitos | Plano Enterprise, VPC gerenciada pelo cliente | Plano Enterprise, VPC gerenciada pelo cliente | Plano Enterprise, VPC gerenciada pelo cliente |
Anexos de serviço necessários | Endpoint do workspace ( | Endpoint do Workspace e endpoint de relé SCC ( | Endpoint do workspace e endpoint de relé SCC |
Custo relativo | Custo por endpoint e transferência de dados | Custo por endpoint e transferência de dados | Custo mais alto (todos os Endpoint) |
O Private Service Connect de saída (serverless) é um recurso adicional separado que você pode aplicar em qualquer uma das configurações acima. Consulte Conectividade de saída (serverless).
Conectividade de entrada
O Private Serviço Connect de entrada protege a conexão dos usuários com o workspace do Databricks. O tráfego é roteado por meio de um endpoint do Private Service Connect em sua VPC de trânsito em vez de IPs públicos. O Private Service Connect de entrada fornece acesso seguro a:
- Aplicativo web Databricks
- API REST
- API Databricks Connect
Consulte Configurar Private Serviço Connect de entrada.
Conectividade de saída (serverless)
O Private Service Connect de saída permite a conectividade privada do compute serverless do Databricks para recursos em sua VPC. Ao contrário do Private Service Connect de entrada e do plano de compute clássico, que protegem as conexões com o Databricks, o Private Service Connect de saída protege as conexões do compute serverless com seus recursos.
O Private Service Connect de saída usa Configurações de conectividade de rede (NCCs), que são construções regionais em nível de account que gerenciam a criação de endpoints privados em escala. As NCCs podem ser anexadas a vários workspaces na mesma região.
Visualização
Esse recurso está em Prévia privada. Para experimentar, fale com o seu contato no Databricks.
O Databricks on Google Cloud oferece suporte a Private Service Connect de saída serverless para recursos em sua VPC por meio de um anexo de serviço do Google Cloud gerenciado pelo cliente, com front-end em um balanceador de carga interno. Consulte Configurar conectividade privada para recursos em sua VPC.
O plano de compute Serverless no Google Cloud não oferece suporte à conectividade Private Service Connect para serviços gerenciados pelo Google. O compute serverless acessa APIs do Google, como o Google Cloud Storage e o BigQuery, por meio do Acesso Privado ao Google. Se o VPC Service Controls bloquear esse acesso, use o plano de computação clássico.
Conceitos fundamentais para conectividade de saída
Conceitos-chave para conectividade de saída
- Configuração de Conectividade de Rede (NCC) : Uma construção regional em nível accountque gerencia endpoints privados e controla como compute serverless acessa os recursos do cliente.
- Regra de endpoint privado : uma regra em uma NCC que define um anexo de serviço específico e os nomes de domínio que o compute serverless usa para alcançá-lo.
- Anexo de serviço ao cliente : um anexo de serviço do Google Cloud que você cria em sua VPC, gerenciado por um balanceador de carga interno. O Databricks cria um endpoint do Private Service Connect que se conecta a este anexo de serviço.
- Modelo de conexão ao espaço de trabalho : os NCCs podem ser conectados a até 50 espaços de trabalho na mesma região.
- Limites e cotas (Prévia privada) :
- Até 10 NCCs por account por região
- Até 10 objetos de endpoint privado por região
- Até 50 espaços de trabalho por NCC
Conectividade privada clássica do plano compute
O Private Service Connect do plano de compute clássico protege a conexão dos clusters do Databricks ao plano de controle. Os clusters se conectam ao plano de controle para APIs REST e para o relé de conectividade segura de cluster.
Endereços do Private Service Connect do plano de compute clássico:
- Requisitos de conformidade : Ajuda a atender aos rigorosos requisitos compliance regulamentar e corporativa que exigem que todo o tráfego interno cloud permaneça em uma rede privada.
- Fortalecimento do perímetro de rede : a implementação do Private Service Connect do plano de compute clássico junto com o VPC Service Controls para APIs do Google reduz o risco de exfiltração de dados ao remover o caminho dos clusters para a internet pública.
Consulte Configurar o Private Service Connect do plano de compute clássico.
Você pode configurar a conectividade privada do plano de compute clássico de forma independente. Não requer conectividade de entrada ou serverless.
clouds privadas virtuais para conectividade privada
A conectividade privada utiliza duas redes VPC:
- VPC de trânsito : funciona como um hub central para a conectividade do usuário. Contém os endpoints de entrada do Private Serviço Connect necessários para o acesso do cliente aos workspaces.
- VPC do plano de compute clássico : uma VPC gerenciada pelo cliente que hospeda seu Workspace do Databricks e os Endpoints do Private serviço Connect do plano de compute clássico.
Em uma topologia de rede única, uma VPC pode servir a ambas as funções. Nesse caso, todo o acesso do cliente a partir da VPC deve passar pela conexão de entrada do Private Service Connect. Consulte Ativar o Private Service Connect para seu workspace para obter detalhes.
Você não pode misturar workspaces que usam o Private Service Connect de entrada com workspaces que não o usam dentro da mesma VPC de trânsito. Todos os workspaces em uma VPC de trânsito devem ser do mesmo tipo. Esta é uma restrição da resolução de DNS do Google Cloud.
Alocação e dimensionamento de sub-redes
Planeje sub-redes em cada VPC para oferecer suporte a Endpoint do Private Serviço Connect juntamente com a implantação do Workspace.
- Transit VPC : Aloque uma sub-rede dedicada para Endpoints de entrada do Private Serviço Connect.
- VPC do plano de compute clássico :
- Sub-rede do Workspace : O workspace do Databricks requer sua própria sub-rede. Consulte Configurar uma VPC gerenciada pelo cliente.
- Sub-rede de Endpoint do Private Service Connect : uma sub-rede separada (por exemplo,
/28) para os Endpoint do Private Service Connect do plano de compute clássico. Os intervalos de IP do endpoint não podem se sobrepor aos intervalos de sub-rede do workspace.
endpoints do Private serviço Connect do Databricks
O Databricks publica dois anexos de serviço regionais aos quais você se conecta a partir da sua VPC:
- Endpoint do workspace : Sufixo de anexo de serviço
plproxy-psc-endpoint-all-ports. Este endpoint tem uma função dupla. O Private Service Connect do plano de compute clássico o utiliza para alcançar o plano de controle para APIs REST. O Private Service Connect de entrada o utiliza para conectar sua VPC de trânsito ao aplicativo Web do workspace e às APIs REST. - Endpoint de relé SCC : sufixo de anexo de serviço
ngrok-psc-endpoint. Apenas o Private Service Connect do plano de compute clássico usa esse endpoint, para o relé de conectividade segura de cluster (SCC).
Para URIs de anexo de serviço por região, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).
Dentro da mesma região em uma VPC, a Databricks recomenda no máximo um endpoint por tipo de endpoint. Compartilhe um endpoint de workspace entre todos os workspaces que usam a VPC e um endpoint de retransmissão SCC para toda a conectividade do plano de compute clássico a partir dessa VPC.
Para endpoints do Private Service Connect, observe o seguinte:
- Endpoints compartilhados : vários workspaces que usam a mesma VPC podem compartilhar endpoints do Private Service Connect, pois eles são recursos de nível de VPC.
- Específico da região : os Endpoint do Private Service Connect são específicos da região. Workspace em regiões diferentes exigem configurações de Endpoint do Private Service Connect separadas.
- Cota : até 10 endpoints do Private Service Connect de cada tipo (o endpoint do workspace e o endpoint de retransmissão SCC) por região, por projeto host, para um total de até 20. O limite se aplica por projeto host (o projeto do Google Cloud onde a VPC é criada), não por VPC. Entre em contato com sua equipe de account se isso for uma restrição.
principais considerações
Antes de configurar o Private Service Connect, considere o seguinte:
- VPC gerenciada pelo cliente é necessária : você não pode usar o Private Service Connect com uma VPC gerenciada pelo Databricks.
- Sem conectividade entre regiões : todos os componentes do Private Service Connect devem estar na mesma região que o seu workspace, incluindo a VPC de trânsito, a VPC do plano de compute clássico, o workspace, os endpoints do Private Service Connect e as sub-redes de endpoint do Private Service Connect.
- Resolução de DNS : o Private Service Connect de entrada requer registros DNS privados na sua VPC de trânsito. Veja Configurar DNS para o Private Serviço Connect de entrada do Google Cloud.
- Integração com o VPC Service Controls : você pode combinar o Private Service Connect com o VPC Service Controls para restringir ainda mais o acesso às APIs do Google e ao Cloud Storage a partir de seus projetos do Databricks. Para o compute serverless, o NCC expõe números de projeto estáveis do Google Cloud que você adiciona às suas regras de entrada do VPC Service Controls. Consulte URIs de anexo e números de projeto do Private Service Connect (PSC).
- Implicações do firewall : o VPC do plano de computação clássico não consegue acessar a internet pública por default. Se você usar um firewall para controlar a saída, deverá autorizar os URLs de que o Databricks precisa ou fornecer um Cloud NAT ou espelho privado para repository de pacotes e o metastore. Consulte Limite a saída de rede para seu workspace usando um firewall.
- Controle de entrada baseado em contexto : Quando o acesso público permanecer habilitado juntamente com o Private Service Connect de entrada, use o controle de entrada baseado em contexto para restringir o acesso com base na identidade, tipo de solicitação e origem da rede. Consulte Controle de entrada baseado em contexto.
- Sem suporte a serviços de alto desempenho : o Databricks on Google Cloud atualmente não oferece suporte ao Private Service Connect de entrada para serviços de alto desempenho, como o Zerobus Ingest ou o Lakebase Autoscaling.