Pular para o conteúdo principal
Última atualização em

Configurar DNS para o Private Service Connect de entrada do Google Cloud

Configure o DNS para rotear solicitações de usuário por meio de sua rede privada ao usar o Private serviço Connect de entrada para Workspaces do Databricks. Esta página aborda o modelo de resolução de DNS e as instruções de configuração passo a passo para uma zona privada do Cloud DNS em sua Virtual Private Cloud (VPC) de trânsito.

nota

Esta página aborda a configuração de DNS de entrada do Private Service Connect. Se você também ativar o Private Service Connect do plano de compute clássico, certifique-se de que a URL do workspace e a URL do plano de dados sejam resolvidas consistentemente para o mesmo endpoint do Private Service Connect a partir da VPC que hospeda seus recursos de compute clássico. Consulte Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico.

Visão geral da arquitetura​

O Private Service Connect de entrada no Google Cloud roteia o tráfego da sua VPC de trânsito para um endpoint do Private Service Connect que aponta para o anexo de serviço do workspace do Databricks. Sua zona DNS privada resolve a URL do workspace, a URL do plano de dados e a URL de autenticação do navegador para o endereço IP do endpoint do Private Service Connect na VPC de trânsito.

Você pode compartilhar uma VPC de trânsito entre vários workspaces na mesma região, mas a VPC de trânsito deve conter apenas workspaces que usam o Private Service Connect de entrada ou apenas workspaces que não o usam. A resolução de DNS do Google Cloud não suporta a mistura de ambos os tipos em uma única VPC de trânsito.

Resolução de DNS com Private Service Connect​

Sem o Private Service Connect, as URLs do workspace são resolvidas para endereços IP públicos por meio do front-end regional do Databricks. Depois de anexar um objeto de configurações de acesso privado a um workspace, o Databricks adiciona um hostname psc.gcp.databricks.com intermediário à cadeia de resolução. Substitua este hostname em sua zona DNS privada para apontar para o IP privado do seu endpoint do Private Service Connect.

Sua zona de DNS privada deve resolver três registros para o IP privado do seu endpoint do Private Service Connect:

  • A URL do workspace (<workspace-id>.<n>.gcp.databricks.com), que navegadores e clientes na VPC de trânsito usam para acessar o workspace.
  • A URL do plano de dados (dp-<workspace-id>.<n>.gcp.databricks.com), que o compute clássico e alguns serviços do plano de controle usam.
  • A URL de autenticação do navegador (<region>.psc-auth.gcp.databricks.com), que os logins do navegador da Web exigem. O acesso apenas via API REST não precisa deste registro.

Nessas URLs, <n> é um número de um dígito de 0 a 9 que o Databricks atribui ao seu workspace, não um código de região. Use o valor exato da URL do seu workspace, que você pode encontrar na barra de endereços do navegador ao visualizar o workspace ou na lista de workspaces do console da conta.

Para workspaces que usam o plano de compute clássico ou Private Service Connect de entrada, o hostname intermediário do Private Service Connect é <region>.psc.gcp.databricks.com. Este hostname separa o tráfego do workspace habilitado para Private Service Connect de outros serviços do Databricks que não oferecem suporte ao Private Service Connect, como o console da account.

Pré-requisitos​

Antes de configurar o DNS, verifique se você tem:

  • Um workspace da Databricks implantado com Private Service Connect de entrada. Consulte Configurar o Private Service Connect de entrada.
  • Um endpoint do Private Service Connect em sua VPC de trânsito conectado ao anexo de serviço plproxy-psc-endpoint-all-ports para sua região. Observe o endereço IP privado do endpoint.
  • A URL do workspace para seu workspace implantado. Obtenha-o na barra de endereços do navegador na IU do workspace ou na lista de workspaces no console da conta.
  • Permissões do Google Cloud para criar zonas e registros do Cloud DNS no projeto que hospeda a VPC de trânsito.

Configure uma zona privada do Cloud DNS​

Crie uma zona privada do Cloud DNS para o domínio gcp.databricks.com e adicione registros A que resolvam cada URL do Databricks para o IP privado do seu endpoint do Private Service Connect.

O passo 1: Criar uma zona privada do Cloud DNS​

  1. No console do Google Cloud, acesse Zonas do Cloud DNS.
  2. Clique em Criar zona .
  3. Para Zone type , selecione Private .
  4. Em Nome DNS , insira gcp.databricks.com.
  5. Para Networks , selecione sua rede VPC de trânsito.
  6. Clique em Criar .

Passo 2: Adicione registros A para as URLs do workspace​

Adicione três registros A na nova zona, todos apontando para o IP privado do seu Endpoint do Private Serviço Connect de entrada. Os exemplos a seguir pressupõem que o IP do endpoint é 10.0.0.2 e a ID do workspace é 33333333333333.3.

Nome do registro

Tipo de registro

Valor

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Nome do registro

Tipo de registro

Valor

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Para um workspace em 33333333333333.3.gcp.databricks.com na região us-east4, os registros são:

  • 33333333333333.3.gcp.databricks.com → 10.0.0.2
  • dp-33333333333333.3.gcp.databricks.com → 10.0.0.2
  • us-east4.psc-auth.gcp.databricks.com → 10.0.0.2
nota

Se você precisar apenas de Private Service Connect de entrada da rede de trânsito para acesso à API REST (sem logins baseados em navegador), você pode omitir o registro psc-auth.gcp.databricks.com. A maioria das implantações a exige.

Etapa 3: Verifique os registros no console​

Na view da zona do Cloud DNS, confirme se os três registros A aparecem e são resolvidos para o mesmo IP de endpoint do Private Serviço Connect.

Verificação​

Após criar os registros DNS, verifique se as URLs do Workspace são resolvidas para o IP do Endpoint do Private serviço Connect a partir de um cliente na VPC de trânsito.

De uma VM na VPC de trânsito, execute nslookup contra cada URL:

Bash
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2

Cada comando deve retornar o IP privado do seu endpoint de entrada do Private Service Connect.

Problemas comuns​

A resolução de DNS retorna IPs públicos : a zona privada do Cloud DNS não está associada à VPC de trânsito ou as queries não estão chegando até ela. Verifique as vinculações de rede da zona.

Os redirecionamentos de login do navegador falham ou travam : O registro <region>.psc-auth.gcp.databricks.com está ausente ou aponta para um IP diferente da URL do workspace. Adicione ou atualize o registro.

Cluster startup fails after habilitar o Private Service Connect do plano de compute clássico : a URL do Workspace e a URL do plano de dados devem ser resolvidas para o mesmo Endpoint do Private Service Connect a partir da VPC do plano de compute clássico. Se eles forem resolvidos para Endpoint diferentes, os nós do cluster não conseguirão alcançar o plano de controle de forma consistente. Consulte Melhor prática: resolução de DNS consistente.

Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico​

Se você configurar o Private Service Connect tanto para o plano de compute de entrada quanto para o clássico, a URL do workspace e a URL do plano de dados (dp-<workspace-id>.<n>.gcp.databricks.com) deverão ser resolvidas para o mesmo endpoint do Private Service Connect a partir de cada VPC que as utiliza.

Quando um nó de compute inicia, o Databricks usa ambas as URLs para alcançar o plano de controle. Se eles forem resolvidos para endpoints diferentes, essa incompatibilidade pode entrar em conflito com sua política de configurações de acesso privado e causar falhas no compute.

Para verificar, execute o seguinte a partir de uma VM na VPC do plano de computação clássico. Ambos os comandos devem retornar o mesmo IP privado:

Bash
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com

Se eles não coincidirem, atualize a zona de Cloud DNS na VPC do plano de compute clássico (ou na VPC de trânsito, caso ela também funcione como a VPC do plano de compute clássico) para que ambos os registros apontem para o mesmo endpoint do Private Service Connect.

O que vem a seguir​

Nesta página