Conceitos do Private Service Connect
Esta página fornece uma visão geral do Private Service Connect no Databricks on Google Cloud. O Private Service Connect cria uma conexão privada e segura entre seus recursos do Databricks e seus serviços do Google Cloud, garantindo que o tráfego da sua rede não seja exposto à internet pública.
O Databricks oferece suporte aos seguintes tipos de conectividade do Private Service Connect no Google Cloud:
- Entrada : Protege as conexões de usuários para workspaces
- Saída (serverless) : Protege conexões do compute serverless do Databricks para recursos em sua Virtual Private Cloud (VPC)
- Plano de compute clássico : Protege as conexões do compute clássico ao plano de controle
A conectividade de plano de compute de entrada e clássica está geralmente disponível. A conectividade de saída serverless para recursos gerenciados pelo cliente por meio de anexos de serviço também está geralmente disponível. Isso não inclui serviços gerenciados pelo Google.
Visão geral da conectividade privada
O Private Service Connect permite conectividade segura e privada de suas redes VPC do Google Cloud e redes on-premises para os serviços do Databricks, mantendo seu tráfego isolado da internet pública. A rede privada de ponta a ponta ajuda você a atender aos requisitos de segurança e compliance e reduz o risco de exfiltração de dados.
Você pode ativar as conexões do Private Service Connect de entrada e do plano de compute clássico de forma independente ou conjunta, dependendo dos seus requisitos de segurança e compliance. A ativação de ambos privatiza os caminhos de tráfego do usuário e da compute clássica, mas não bloqueia por si só o acesso público ao workspace. Para bloquear o acesso público, desative o acesso público em seu objeto de configurações de acesso privado. Se você deixar o acesso público ativado, poderá usar listas de acesso IP para controlar quais endereços IP públicos podem acessar o workspace. Consulte Configurar o Private Service Connect de entrada para Workspace.
Com o Private Service Connect, você pode:
- Bloqueie o acesso a dados provenientes de redes não autorizadas ou da internet pública ao usar o aplicativo web ou as APIs do Databricks.
- Reduza o risco de exfiltração de dados restringindo a exposição da rede apenas a endpoints privados aprovados.
Terminologia
Os seguintes termos do Google Cloud e do Databricks descrevem a configuração do Private Service Connect:
Termo | Descrição |
|---|---|
Google Cloud Private Service Connect | Um recurso do Google Cloud que fornece conectividade privada entre redes VPC e serviços do Google Cloud. O Databricks usa o Private Service Connect para conexões privadas entre suas VPCs e os serviços do Databricks. |
Projeto de host | Em configurações de VPC compartilhada, o projeto do Google Cloud onde as VPCs são criadas. Usado tanto para a VPC do plano de compute clássico quanto para a VPC de trânsito. |
Projeto de serviço | Em configurações de VPC compartilhada, o projeto do Google Cloud que contém os recursos de compute do workspace. |
Endpoint do Private Service Connect (endpoint de VPC) | Uma conexão privada entre uma rede VPC e um anexo de serviço. Para conectividade de entrada e do plano de compute clássico, um endpoint em sua VPC se conecta a um serviço publicado pelo Databricks. Para conectividade de saída serverless, o Databricks cria um endpoint que se conecta ao seu anexo de serviço. |
VPC de trânsito | A rede VPC que hospeda o endpoint de entrada do Private Service Connect e roteia o tráfego dos clientes para o Databricks. Nos termos do Google Cloud, esta é normalmente a VPC usada para Endpoint de entrada do Private serviço Connect. |
VPC do plano de computação clássico | A rede VPC que hospeda os recursos de compute do seu workspace do Databricks. Nos termos do Google Cloud, esta é normalmente a VPC usada para o Private Serviço Connect do plano de compute clássico. |
Anexo do serviço | Um recurso do Google Cloud que publica um serviço para os consumidores. O Databricks publica anexos de serviço regionais para conectividade de entrada e de plano de compute clássico. Para conectividade de saída serverless, você publica um anexo de serviço em sua VPC e o Databricks se conecta a ele. |
Workspace privado | Um workspace onde as VMs do plano de computação clássico não possuem endereços IP públicos. No Google Cloud, o Databricks cria clusters sem IPs públicos por default. |
Escolha a implementação correta do Private serviço Connect
Use este guia para determinar qual implementação atende às suas necessidades.
Consideração | Somente entrada | Somente plano de compute clássico | Isolamento privado completo |
|---|---|---|---|
Objetivo principal de segurança | Somente pessoas autorizadas podem acessar meu recurso Databricks . | Bloquear plano compute clássico | Isolamento máximo (proteger tudo) |
Conectividade do usuário | Privado ou público | Público (internet) | Somente para uso privado |
Conectividade do cluster com o plano de controle | Público (caminho seguro padrão) | Privado (obrigatório) | Privado (obrigatório) |
Pré-requisitos | Plano Enterprise, VPC gerenciada pelo cliente | Plano Enterprise, VPC gerenciada pelo cliente | Plano Enterprise, VPC gerenciada pelo cliente |
Anexos de serviço necessários | Endpoint de Acesso Geral ( | Endpoint de acesso geral e endpoint de transmissão SCC ( | Endpoint de Acesso Geral e endpoint de transmissão de SCC |
Custo relativo | Custo por endpoint e transferência de dados | Custo por endpoint e transferência de dados | Custo mais alto (todos os Endpoint) |
O Private Service Connect de saída (serverless) é um recurso adicional separado que você pode aplicar em qualquer uma das configurações acima. Consulte Conectividade de saída (serverless).
Conectividade de entrada
O Private Serviço Connect de entrada protege a conexão dos usuários com o workspace do Databricks. O tráfego é roteado por meio de um endpoint do Private Service Connect em sua VPC de trânsito em vez de IPs públicos. O Private Service Connect de entrada fornece acesso seguro a:
- Aplicativo web Databricks
- API REST
- API Databricks Connect
- Serviços do Databricks que exigem alto desempenho
Consulte Configurar Private Serviço Connect de entrada.
Conectividade privada de entrada para serviços de alto desempenho
Conectividade privada de entrada para serviços de alto desempenho
O Private Service Connect para serviços que exigem alto desempenho fornece conectividade privada aos seguintes serviços:
- Zerobus Ingest
- Escala automática Lakebase
Consulte Configurar entrada Private Service Connect para serviços com uso intenso de desempenho.
Conectividade de saída (serverless)
O Private Service Connect de saída permite a conectividade privada do compute serverless do Databricks para recursos em sua VPC. Ao contrário do Private Service Connect de entrada e do plano de compute clássico, que protegem as conexões com o Databricks, o Private Service Connect de saída protege as conexões do compute serverless com seus recursos.
O Private Service Connect de saída usa configurações de conectividade de rede (NCCs), que são construções regionais em nível de account que gerenciam a criação de Endpoint privados em escala. As NCCs podem ser anexadas a vários workspaces na mesma região.
O Databricks on Google Cloud oferece suporte a Private Service Connect de saída serverless para recursos em sua VPC por meio de um anexo de serviço do Google Cloud gerenciado pelo cliente, com front-end em um balanceador de carga interno. Consulte Configurar conectividade privada para recursos em sua VPC.
Este recurso geralmente disponível não inclui serviços gerenciados pelo Google. A conectividade privada para APIs do Google está em Beta. Consulte Configurar conectividade privada para APIs do Google.
Conceitos fundamentais para conectividade de saída
Conceitos-chave para conectividade de saída
- Network connectivity configuration (NCC) : uma construção regional no nível da account que gerencia endpoints privados e controla como o compute serverless acessa os recursos do cliente.
- Regra de endpoint privado : uma regra em uma NCC que define um anexo de serviço específico e os nomes de domínio que o compute serverless usa para alcançá-lo.
- Anexo de serviço ao cliente : um anexo de serviço do Google Cloud que você cria em sua VPC, gerenciado por um balanceador de carga interno. O Databricks cria um endpoint do Private Service Connect que se conecta a este anexo de serviço.
- Modelo de conexão ao espaço de trabalho : os NCCs podem ser conectados a até 50 espaços de trabalho na mesma região.
- Limites e quotas :
- Até 20 NCCs por account por região
- Até 10 objetos de endpoint privado por região
- Até 50 espaços de trabalho por NCC
- Até 100 nomes de domínio por regra de endpoint privado
Conectividade privada clássica do plano compute
O Private Service Connect do plano de compute clássico protege a conexão dos clusters do Databricks ao plano de controle. Os clusters se conectam ao plano de controle para APIs REST e para o relé de conectividade segura de cluster.
Endereços do Private Service Connect do plano de compute clássico:
- Requisitos de conformidade : Ajuda a atender aos rigorosos requisitos compliance regulamentar e corporativa que exigem que todo o tráfego interno cloud permaneça em uma rede privada.
- Fortalecimento do perímetro de rede : a implementação do Private Service Connect do plano de compute clássico junto com o VPC Service Controls para APIs do Google reduz o risco de exfiltração de dados ao remover o caminho dos clusters para a internet pública.
Consulte Configurar o Private Service Connect do plano de compute clássico.
Você pode configurar a conectividade privada do plano de compute clássico de forma independente. Não requer conectividade de entrada ou serverless.
clouds privadas virtuais para conectividade privada
A conectividade privada utiliza duas redes VPC:
- VPC de trânsito : funciona como um hub central para a conectividade do usuário. Contém os endpoints de entrada do Private Serviço Connect necessários para o acesso do cliente aos workspaces.
- VPC do plano de compute clássico : uma VPC gerenciada pelo cliente que hospeda seu Workspace do Databricks e os Endpoints do Private serviço Connect do plano de compute clássico.
Em uma topologia de rede única, uma VPC pode servir a ambas as funções. Nesse caso, todo o acesso do cliente a partir da VPC deve passar pela conexão de entrada do Private Service Connect. Consulte Ativar o Private Service Connect para seu workspace para obter detalhes.
Você não pode misturar workspaces que usam o Private Service Connect de entrada com workspaces que não o usam dentro da mesma VPC de trânsito. Todos os workspaces em uma VPC de trânsito devem ser do mesmo tipo. Esta é uma restrição da resolução de DNS do Google Cloud.
Alocação e dimensionamento de sub-redes
Planeje sub-redes em cada VPC para oferecer suporte a Endpoint do Private Serviço Connect juntamente com a implantação do Workspace.
- Transit VPC : Aloque uma sub-rede dedicada para Endpoints de entrada do Private Serviço Connect.
- VPC do plano de compute clássico :
- Sub-rede do Workspace : O workspace do Databricks requer sua própria sub-rede. Consulte Configurar uma VPC gerenciada pelo cliente.
- Sub-rede de Endpoint do Private Service Connect : uma sub-rede separada (por exemplo,
/28) para os Endpoint do Private Service Connect do plano de compute clássico. Os intervalos de IP do endpoint não podem se sobrepor aos intervalos de sub-rede do workspace.
endpoints do Private serviço Connect do Databricks
O Databricks publica três anexos de serviço regionais aos quais você se conecta a partir da sua VPC:
- Endpoint de Acesso Geral : sufixo do anexo de serviço
plproxy-psc-endpoint-all-ports. Esse é o Endpoint principal para proteger o tráfego de e para seus Workspace e tem uma função dupla. O Private serviço Connect do plano de compute clássico o usa para acessar o plano de controle para APIs REST. O Private Service Connect de entrada o utiliza para conectar sua VPC de trânsito ao aplicativo Web do workspace e às APIs REST. - Endpoint de relé SCC : sufixo de anexo de serviço
ngrok-psc-endpoint. Apenas o Private Service Connect do plano de compute clássico usa esse endpoint, para o relé de conectividade segura de cluster (SCC). - Endpoint direto do serviço : Sufixo de anexo de serviço
regional-plproxy-psc-endpoint-all-ports. Esse endpoint é necessário para acessar serviços com uso intensivo de desempenho.
Para URIs de anexo de serviço por região, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).
Dentro da mesma região em uma VPC, a Databricks recomenda no máximo um endpoint por tipo de endpoint. Compartilhe um Endpoint de acesso geral em todos os Workspace que usam a VPC e um Endpoint de relay do SCC para toda a conectividade do plano de compute clássico a partir dessa VPC.
Para endpoints do Private Service Connect, observe o seguinte:
- Endpoint compartilhados : os Endpoint de Acesso Geral podem ser compartilhados entre vários Workspace em qualquer região. Para conectividade de plano de compute clássico, um único conjunto de Endpoint Private serviço Connect pode atender a todos os Workspace implantados nessa VPC e região.
- Específico da região : Os Endpoint do Private Service Connect são recursos específicos da região. Para Endpoint de serviço Direct e relay SCC, os Workspace em regiões diferentes requerem configurações de Endpoint do Private serviço Connect separadas. Para Endpoint de Acesso Geral que você coloca em uma lista de permitidos com uma política de acesso privado de entrada baseada em contexto, Workspace em diferentes regiões podem compartilhar um único Endpoint em qualquer região.
- Cota : até 10 Endpoint do Private serviço Connect de cada tipo (Acesso Geral, relé SCC e Serviço Direto) por região e por projeto host. O limite se aplica por projeto host (o projeto do Google Cloud onde a VPC foi criada), não por VPC. Entre em contato com sua equipe de account se essa for uma restrição.
principais considerações
Antes de configurar o Private Service Connect, considere o seguinte:
- VPC gerenciada pelo cliente é necessária : você não pode usar o Private Service Connect com uma VPC gerenciada pelo Databricks.
- Sem conectividade entre regiões para o plano de compute clássico Private Service Connect : os componentes do plano de compute clássico Private Service Connect devem estar na mesma região que o workspace, incluindo a VPC do plano de compute clássico, o workspace, os endpoints do Private Service Connect e as sub-redes do endpoint do Private Service Connect. Para o Private Service Connect de entrada, um endpoint de Acesso Geral em qualquer região pode servir workspaces em qualquer região quando você o adiciona a uma lista de permissões com uma política de acesso privado de entrada baseada em contexto.
- Resolução de DNS : o Private Service Connect de entrada requer registros DNS privados na sua VPC de trânsito. Veja Configurar DNS para o Private Serviço Connect de entrada do Google Cloud.
- Integração com o VPC Service Controls : você pode combinar o Private Service Connect com o VPC Service Controls para restringir ainda mais o acesso às APIs do Google e ao Cloud Storage a partir de seus projetos do Databricks. Para o compute serverless, o NCC expõe números de projeto estáveis do Google Cloud que você adiciona às suas regras de entrada do VPC Service Controls. Consulte URIs de anexo e números de projeto do Private Service Connect (PSC).
- Implicações do firewall : o VPC do plano de computação clássico não consegue acessar a internet pública por default. Se você usar um firewall para controlar a saída, deverá autorizar os URLs de que o Databricks precisa ou fornecer um Cloud NAT ou espelho privado para repository de pacotes e o metastore. Consulte Limite a saída de rede para seu workspace usando um firewall.
- Controle de entrada baseado em contexto : use o controle de entrada baseado em contexto para restringir o acesso público e privado com base na identidade, tipo de solicitação e origem da rede. As políticas de acesso privado permitem que você permita ou negue Endpoint de Acesso Geral registrados específicos para cada Workspace. Consulte Controle de entrada baseado em contexto.