Pular para o conteúdo principal
Última atualização em

Configurar o Private Service Connect de entrada para serviços de alto desempenho

Esta página mostra como configurar o Private Service Connect para conectividade de entrada para serviços de alto desempenho na plataforma Databricks. Esta conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks, como o Zerobus Ingest e o Lakebase Autoscaling.

O Databricks já suporta o Private Service Connect para conexões com as APIs e a UI do workspace. Esta página aborda Endpoint do Private Service Connect que visam serviços que exigem alto desempenho. Para conectividade de Workspace, consulte Configurar o Private serviço Connect de entrada para Workspace.

Benefícios​

  • Segurança aprimorada: o tráfego entre sua rede e os serviços do Databricks permanece dentro da infraestrutura de rede do Google Cloud.
  • Acesso a serviços de desempenho intenso: conexões privadas a serviços como Zerobus Ingest e o autoscale do Lakebase.
  • Requisitos de compliance: Cumpra os requisitos regulatórios que impõem conectividade de rede privada.
  • Eficiência de custos: o Private Service Connect custa menos do que as opções de conectividade pública, como gateways NAT.

Requisitos​

  • Sua account Databricks precisa ser do plano Enterprise.
  • É necessário ser um administrador de account do Databricks para registrar VPC endpoints e gerenciar políticas de ingresso.
  • Você deve ter permissões no Google Cloud para criar endpoints do Private Service Connect.

Referência de anexos de serviço regional​

Para criar um endpoint do Private Service Connect para serviços de alto desempenho, você precisa do URI de anexo de serviço para sua região. O URI termina com o sufixo regional-plproxy-psc-endpoint-all-ports, o que o distingue do anexo de serviço de Acesso Geral (plproxy-psc-endpoint-all-ports) usado pelo Private serviço Connect de entrada para as APIs e a UI do Workspace.

Para encontrar o URI de anexo de serviço para sua região, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Configurar um Endpoint do serviço Private Connect​

Crie um endpoint do Private Service Connect no Google Cloud​

Crie o endpoint no projeto do Google Cloud e na VPC a partir dos quais seus clientes se conectam:

  1. No console do Google Cloud, acesse a página Private Service Connect.
  2. Clique na tab Connected endpoints .
  3. Clique em + Conectar endpoint .
  4. Para Destino , selecione Serviço publicado .
  5. No campo Target serviço , cole o URI de anexo de serviço para sua região. Consulte Referência de anexos de serviço regionais.
  6. Insira um nome para o endpoint. A Databricks recomenda um nome que inclua a região e a finalidade, como us-central1-performance-intensive-psc.
  7. Selecione a rede VPC e a sub-rede que hospedam o endpoint.
  8. Reserve um endereço IP para o endpoint.
  9. Clique em Criar .
  10. Registre os seguintes valores, que você precisará ao registrar o endpoint:
    • Seu ID do projeto do Google Cloud
    • O nome do endpoint do Private Service Connect
    • O endereço IP privado que você reservou para o endpoint
nota

After you create the endpoint, its connection state is Pending. This is expected. The connection is accepted when you register the endpoint with Databricks in the next step.

Serviços com uso intensivo de desempenho conectam-se via TCP: o Zerobus Ingest usa a porta 443, e o Lakebase Autoscale usa a porta 5432 (Postgres wire) e 443 (Data API e outros clientes baseados em HTTPS). Confirme se suas regras de firewall permitem tráfego TCP de saída nessas portas de seus clientes para o endereço IP do endpoint.

Registre o endpoint no Databricks​

Faça o registro do seu Endpoint do Private serviço Connect usando o console da account Databricks:

  1. Acesse o console da account do Databricks.
  2. Clique em Segurança na barra lateral.
  3. Clique em Endpoint privados .
  4. Clique em Registrar um endpoint privado .
  5. Preencha os campos obrigatórios:
    • Nome do endpoint de VPC : um nome legível para o registro. A Databricks recomenda um nome que inclua a região e a finalidade.
    • Região : A região do Google Cloud onde o endpoint do Private Service Connect existe. A região deve corresponder à região do seu workspace.
    • ID do projeto de rede VPC do Google Cloud : o projeto do Google Cloud onde você criou o endpoint.
    • ID de Endpoint do Private serviço Connect (PSC) do Google Cloud : O nome do Endpoint no console do Google Cloud.

Você também pode fazer o registro do Endpoint usando a API de configurações de Endpoint de VPC. Envie uma solicitação POST para /api/2.0/accounts/{accountId}/vpc-endpoints com os seguintes campos:

  • endpoint_region: A região do Google Cloud onde o endpoint do Private Service Connect existe.
  • project_id: O projeto do Google Cloud onde você criou o endpoint.
  • psc_endpoint_name: O nome do endpoint no console do Google Cloud.
  • vpc_endpoint_name: um nome legível por humanos para o registro.
JSON
{
  "gcp_vpc_endpoint_info": {
    "endpoint_region": "us-central1",
    "project_id": "my-prod-project",
    "psc_endpoint_name": "performance-intensive-psc"
  },
  "vpc_endpoint_name": "psc-vpce"
}

A resposta inclui use_case definido como SERVICE_DIRECT, o vpc_endpoint_id, e os valores psc_connection_id e service_attachment_id em gcp_vpc_endpoint_info.

Configurar política de acesso privado​

Depois do registro de seu Endpoint do Private Serviço Connect, há duas maneiras de configurar uma política de acesso privado para seu Workspace: com entrada baseada em contexto ou com configurações de acesso privado. O uso da abordagem de entrada baseada em contexto permite configurar o acesso refinado combinando condições de identidade, tipo de solicitação e origem da rede. Veja Controle de entrada baseado em contexto. As configurações de acesso privado são políticas tudo ou nada vinculadas à região.

Para que o tráfego seja permitido, as configurações de acesso privado e a entrada baseada em contexto devem permitir o endpoint. Por default, a entrada baseada em contexto é definida como Permitir acesso de todos os Endpoint privados , o que transfere a decisão de acesso para as configurações de acesso privado do Workspace. Para usar políticas de acesso privado baseadas em contexto, anexe um objeto de configurações de acesso privado ao seu workspace com o Acesso público habilitado definido como True e o Nível de acesso privado definido como Account . Isso transfere a decisão de acesso para a política de entrada baseada em contexto do seu workspace. Você pode reutilizar o mesmo objeto de configurações de acesso privado "permitir todo o acesso" em qualquer workspace na mesma região.

nota

To configure private access to workspaces using context-based ingress (Method 1), an account admin must turn on Context-Based Ingress: Workspace Private Access Policies from the account console Previews page. See Manage account-level previews.

  1. No console de contas, clique em **Segurança** na barra lateral.

  2. Clique em **Controle de entrada e saída baseado em contexto** na barra lateral.

  3. Em **Políticas de nível de workspace**, clique em **Nova política de workspace**.

  4. Em entrada > acesso à rede privada , defina sua política de acesso privado.

    1. Por default, todos os Endpoint registrados são permitidos: Permitir acesso de todos os Endpoint privados . Se isso for aceitável, prossiga para o próximo o passo. Esse default inclui apenas os primeiros 200 VPC Endpoint registrados. Se sua policy precisar de mais, entre em contato com sua equipe de account para um aumento.
    2. Para permitir uma lista de Endpoint registrados específicos e negar todos os outros Endpoint, desmarque Permitir acesso de todos os Endpoint privados e adicione uma regra de permissão.
      1. Selecione as identidades e os destinos do workspace aos quais deseja permitir o acesso. Por default, todos são permitidos.
      2. Para Tipo de origem , selecione Endpoint privados selecionados e selecione os Endpoint do Private Service Connect que você registrou. A região do endpoint deve corresponder à região do seu workspace.
      3. Clique em Confirmar .
      4. Como opção, adicione Regras de bloqueio à sua política para definir exceções às suas regras de permissão.

  5. Configure sua política de acesso público em Entrada > Acesso à rede pública . Para desativar todo o acesso IP público, desmarque Permitir acesso de todos os IPs públicos . A Databricks recomenda manter o acesso público habilitado ao testar sua configuração de DNS e desativá-lo após a finalização do DNS para aplicar a conectividade privada exclusiva.

  6. Teste sua política de entrada no Modo de execução de teste antes de alterná-la para Aplicado . As negações de acesso no modo de execução de teste são registradas na tabela do sistema system.access.inbound_network, mas não bloqueiam o acesso.

  7. Certifique-se de que sua política de saída esteja correta.

  8. Anexe sua política ao seu workspace.

  9. Salve sua política de rede. As atualizações da política de entrada baseadas em contexto geralmente entram em vigor em menos de 10 minutos. Você pode usar uma política de rede por Workspace ou compartilhar uma única política entre Workspace que usam as mesmas regras de entrada e saída, de modo que você a define uma vez e a anexa em qualquer lugar.

  10. Anexe um objeto de configurações de acesso privado "permitir todo o acesso" ao seu workspace. Workspace sem nenhum objeto de configurações de acesso privado anexado têm todo o acesso privado negado, independentemente da política de rede. Siga os passos em Método 2, com Acesso público habilitado definido como Verdadeiro e Nível de acesso privado definido como Account . Deixe Acesso público habilitado definido como Verdadeiro e use sua política de entrada baseada em contexto para restringir o acesso.

Configurar o DNS para rotear o tráfego pelo Private Service Connect​

Por default, serviços de alto desempenho são resolvidos usando o nome DNS público <product-instance>.<product>.<region>.gcp.databricks.com. Por exemplo, o Zerobus Ingest usa <workspace-id>.zerobus.<region>.gcp.databricks.com.

A Databricks recomenda substituir o DNS no nível do produto para que todo o tráfego do produto flua em direção ao seu Endpoint do Private serviço Connect:

  1. Crie uma zona privada hospedada para <product>.<region>.gcp.databricks.com e anexe-a à VPC que hospeda seu endpoint do Private Service Connect. Uma zona privada do Google Cloud resolve apenas para as redes às quais você a anexa; portanto, a zona deve ser anexada a essa VPC para que os clientes possam usá-la.
  2. Nessa zona, adicione um registro curinga A que aponte para o endereço IP privado do seu Endpoint do Private Serviço Connect.
nota

A wildcard record sends every hostname for that product and region to one endpoint IP address. If you use more than one Private Service Connect endpoint for the same product and region, add a record for each specific hostname instead of a wildcard, so that each product instance resolves to its intended endpoint.

Verificar conectividade privada​

Verifique a conectividade a partir de um cliente na VPC que hospeda seu endpoint do Private Service Connect. O exemplo a seguir usa um host do Zerobus Ingest.

Primeiro, confirme se o host do produto é resolvido para o endereço IP privado do seu endpoint do Private Service Connect:

Bash
nslookup <workspace-id>.zerobus.<region>.gcp.databricks.com

A pesquisa deve retornar o endereço IP privado que você reservou em Criar um endpoint do Private Service Connect no Google Cloud. Se ele retornar um endereço público, revise sua configuração de DNS.

Em seguida, teste a conexão:

Bash
nc -vz <workspace-id>.zerobus.<region>.gcp.databricks.com 443

Se a conexão for bem-sucedida, seu endpoint do Private Service Connect para serviços de alto desempenho estará configurado corretamente. Testar o hostname em vez do endereço IP confirma que tanto a resolução de DNS quanto a conectividade funcionam pelo caminho privado. Para testes de conectividade específicos do produto, consulte a documentação desse serviço.

Limitações​

Esteja ciente das seguintes limitações:

  • Serviços compatíveis: No Google Cloud, o Private Service Connect de entrada para serviços de alto desempenho é compatível com o Zerobus Ingest e o Lakebase Autoscaling.
  • Disponibilidade regional: esses serviços estão disponíveis em um subconjunto de regiões do Google Cloud. Confirme se o serviço que você usa é compatível com sua região antes de configurar o endpoint. Consulte Disponibilidade de ingestão.
  • Endpoint por projeto e região: para cada account do Databricks, o ID do projeto do Google Cloud do cliente é limitado a 10 Endpoint do Private Service Connect para serviços que exigem alto desempenho em cada região. Se precisar aumentar a cota, entre em contato com a equipe de account da Databricks.

Solução de problemas​

Se você tiver problemas de conectividade ou quiser compartilhar feedback, entre em contato com sua equipe de account da Databricks.

Recursos adicionais​

Nesta página