Pular para o conteúdo principal
Última atualização em

Configurar o Private Service Connect de entrada para serviços de alto desempenho

info

Beta

Esse recurso está em Beta. Os administradores da conta podem gerenciar o acesso a esse recurso na página Prévias do console da conta. Consulte Gerenciar prévias em nível de conta.

Esta página mostra como configurar o Private Service Connect para conectividade de entrada para serviços de alto desempenho na plataforma Databricks. Esta conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks, como o Zerobus Ingest e o Lakebase Autoscaling.

O Databricks já oferece suporte ao Private Service Connect para conexões com as APIs e a interface do usuário do workspace. Esta página aborda Endpoint do Private Service Connect que visam serviços de alto desempenho. Para conectividade de workspace, consulte Configurar o Private Service Connect de entrada.

Benefícios​

  • Segurança aprimorada: o tráfego entre sua rede e os serviços do Databricks permanece dentro da infraestrutura de rede do Google Cloud.
  • Acesso a serviços de desempenho intenso: conexões privadas a serviços como Zerobus Ingest e o autoscale do Lakebase.
  • Requisitos de compliance: Cumpra os requisitos regulatórios que impõem conectividade de rede privada.
  • Eficiência de custos: o Private Service Connect custa menos do que as opções de conectividade pública, como gateways NAT.

Requisitos​

  • Sua account Databricks precisa ser do plano Enterprise.
  • É necessário ser um administrador de account do Databricks para registrar VPC endpoints e gerenciar políticas de ingresso.
  • Você deve ter permissões no Google Cloud para criar endpoints do Private Service Connect.

Referência de anexos de serviço regional​

Para criar um endpoint do Private Service Connect para serviços de alto desempenho, você precisa do URI de anexo de serviço para sua região. O URI termina com o sufixo regional-plproxy-psc-endpoint-all-ports, que o distingue do anexo de serviço do workspace usado pelo Private Service Connect de entrada para as APIs e a interface do usuário do workspace.

Para encontrar o URI de anexo de serviço para sua região, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Configurar um Endpoint do serviço Private Connect​

Crie um endpoint do Private Service Connect no Google Cloud​

Crie o endpoint no projeto do Google Cloud e na VPC a partir dos quais seus clientes se conectam:

  1. No console do Google Cloud, acesse a página Private Service Connect.
  2. Clique na tab Connected endpoints .
  3. Clique em + Conectar endpoint .
  4. Para Destino , selecione Serviço publicado .
  5. No campo Target serviço , cole o URI de anexo de serviço para sua região. Consulte Referência de anexos de serviço regionais.
  6. Insira um nome para o endpoint. A Databricks recomenda um nome que inclua a região e a finalidade, como us-central1-performance-intensive-psc.
  7. Selecione a rede VPC e a sub-rede que hospedam o endpoint.
  8. Reserve um endereço IP para o endpoint.
  9. Clique em Criar .
  10. Registre os seguintes valores, que você precisará ao registrar o endpoint:
    • Seu ID do projeto do Google Cloud
    • O nome do endpoint do Private Service Connect
    • O endereço IP privado que você reservou para o endpoint
nota

After you create the endpoint, its connection state is Pending. This is expected. The connection is accepted when you register the endpoint with Databricks in the next step.

Serviços de alto desempenho se conectam via TCP: o Zerobus Ingest usa a porta 443 e o Lakebase Autoscaling usa a porta 5432 (Postgres). Confirme se suas regras de firewall permitem tráfego TCP de saída nessas portas de seus clientes para o endereço IP do endpoint.

Registre o endpoint no Databricks​

Registre seu endpoint do Private serviço Connect usando a API de configurações de VPC endpoint. Envie uma solicitação POST para /api/2.0/accounts/{accountId}/vpc-endpoints com os seguintes campos:

  • endpoint_region: A região do Google Cloud onde o endpoint do Private Service Connect existe.
  • project_id: O projeto do Google Cloud onde você criou o endpoint.
  • psc_endpoint_name: O nome do endpoint no console do Google Cloud.
  • vpc_endpoint_name: um nome legível por humanos para o registro.
JSON
{
  "gcp_vpc_endpoint_info": {
    "endpoint_region": "us-central1",
    "project_id": "my-prod-project",
    "psc_endpoint_name": "performance-intensive-psc"
  },
  "vpc_endpoint_name": "psc-vpce"
}

A resposta inclui use_case definido como SERVICE_DIRECT, o vpc_endpoint_id, e os valores psc_connection_id e service_attachment_id em gcp_vpc_endpoint_info. Registre o vpc_endpoint_id, que você precisará no próximo o passo.

Criar um objeto de configurações de acesso privado​

Crie um objeto de configurações de acesso privado que permita o acesso ao workspace usando seu novo endpoint de VPC. Envie uma solicitação POST para /api/2.0/accounts/{accountId}/private-access-settings com os seguintes campos:

  • private_access_settings_name: um nome para o objeto de configurações de acesso privado.
  • region: A região que corresponde à região do seu workspace.
  • private_access_level: ACCOUNT ou ENDPOINT. ACCOUNT permite todos os endpoints VPC registrados em sua account. ENDPOINT limita o acesso aos endpoints que você listar.
  • allowed_vpc_endpoint_ids: Os IDs de VPC endpoint que podem acessar o workspace. Defina este campo somente quando private_access_level for ENDPOINT.
  • public_access_enabled: Se o workspace também aceita conexões da Internet pública.

A Databricks recomenda definir public_access_enabled como true enquanto você testa sua configuração de DNS e, em seguida, alterá-lo para false durante uma janela de manutenção para aplicar a conectividade privada exclusiva. Quando public_access_enabled é false, o workspace só pode ser acessado por meio do Private Service Connect.

Para adicionar o endpoint a um objeto de configurações de acesso privado existente, envie uma solicitação PUT para o mesmo endpoint.

Anexe o objeto de configurações de acesso privado a um workspace​

Anexe o objeto de configurações de acesso privado a cada workspace que usa o endpoint. Envie uma solicitação PATCH para /api/2.0/accounts/{accountId}/workspaces/{workspaceId} com o campo private_access_settings_id definido como a ID do seu objeto de configurações de acesso privado.

Configurar o DNS para rotear o tráfego pelo Private Service Connect​

Por default, serviços de alto desempenho são resolvidos usando o nome DNS público <product-instance>.<product>.<region>.gcp.databricks.com. Por exemplo, o Zerobus Ingest usa <workspace-id>.zerobus.<region>.gcp.databricks.com.

A Databricks recomenda substituir o DNS no nível do produto para que todo o tráfego do produto flua em direção ao seu Endpoint do Private serviço Connect:

  1. Crie uma zona privada hospedada para <product>.<region>.gcp.databricks.com e anexe-a à VPC que hospeda seu endpoint do Private Service Connect. Uma zona privada do Google Cloud resolve apenas para as redes às quais você a anexa; portanto, a zona deve ser anexada a essa VPC para que os clientes possam usá-la.
  2. Nessa zona, adicione um registro curinga A que aponte para o endereço IP privado do seu Endpoint do Private Serviço Connect.
nota

A wildcard record sends every hostname for that product and region to one endpoint IP address. If you use more than one Private Service Connect endpoint for the same product and region, add a record for each specific hostname instead of a wildcard, so that each product instance resolves to its intended endpoint.

Verificar conectividade privada​

Verifique a conectividade a partir de um cliente na VPC que hospeda seu endpoint do Private Service Connect. O exemplo a seguir usa um host do Zerobus Ingest.

Primeiro, confirme se o host do produto é resolvido para o endereço IP privado do seu endpoint do Private Service Connect:

Bash
nslookup <workspace-id>.zerobus.<region>.gcp.databricks.com

A pesquisa deve retornar o endereço IP privado que você reservou em Criar um endpoint do Private Service Connect no Google Cloud. Se ele retornar um endereço público, revise sua configuração de DNS.

Em seguida, teste a conexão:

Bash
nc -vz <workspace-id>.zerobus.<region>.gcp.databricks.com 443

Se a conexão for bem-sucedida, seu endpoint do Private Service Connect para serviços de alto desempenho estará configurado corretamente. Testar o hostname em vez do endereço IP confirma que tanto a resolução de DNS quanto a conectividade funcionam pelo caminho privado. Para testes de conectividade específicos do produto, consulte a documentação desse serviço.

Limitações​

Esteja ciente das seguintes limitações:

  • Serviços compatíveis: No Google Cloud, o Private Service Connect de entrada para serviços de alto desempenho é compatível com o Zerobus Ingest e o Lakebase Autoscaling.
  • Disponibilidade regional: esses serviços estão disponíveis em um subconjunto de regiões do Google Cloud. Confirme se o serviço que você usa é compatível com sua região antes de configurar o endpoint. Consulte Disponibilidade de ingestão.
  • Limite de VPC endpoint: o limite default para VPC endpoints de qualquer tipo é 100 por conta. Se você precisar de um aumento de cota, entre em contato com sua equipe de conta da Databricks.
  • Endpoints por região: Cada account é limitada a cinco endpoints de VPC do tipo SERVICE_DIRECT por região.
  • Endpoints por projeto: cada ID de projeto do Google Cloud do cliente é limitado a 10 endpoints do Private Service Connect para serviços de alto desempenho.

Solução de problemas​

Se você encontrar problemas de conectividade ou quiser compartilhar feedback sobre a versão Beta, entre em contato com sua equipe de conta da Databricks.

Recursos adicionais​

Nesta página