Configurar DNS para o Private Service Connect de entrada do Google Cloud
Beta
O acesso privado aos recursos no nível da account está em Beta. Habilite Ingress baseado em contexto: política de account para começar.
Configure o DNS para rotear as solicitações do usuário através da sua rede privada ao usar o Private Service Connect de entrada para workspaces do Databricks e recursos no nível da account. Esta página aborda o modelo de resolução de DNS e instruções passo a passo de configuração para uma zona privada de DNS do Cloud em sua Virtual Private Cloud (VPC) de trânsito.
Esta página aborda a configuração de DNS de entrada do Private Service Connect. Se você também ativar o Private Service Connect do plano de compute clássico, certifique-se de que a URL do workspace e a URL do plano de dados sejam resolvidas consistentemente para o mesmo endpoint do Private Service Connect a partir da VPC que hospeda seus recursos de compute clássico. Consulte Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico.
Visão geral da arquitetura
O Private Service Connect de entrada no Google Cloud roteia o tráfego da sua VPC de trânsito para um endpoint do Private Service Connect que aponta para o anexo de serviço do workspace do Databricks. Sua zona DNS privada resolve a URL do workspace, a URL do plano de dados e a URL de autenticação do navegador para o endereço IP do endpoint do Private Service Connect na VPC de trânsito.
Você pode compartilhar uma VPC de trânsito entre vários workspaces na mesma região, mas a VPC de trânsito deve conter apenas workspaces que usam o Private Service Connect de entrada ou apenas workspaces que não o usam. A resolução de DNS do Google Cloud não suporta a mistura de ambos os tipos em uma única VPC de trânsito.
Resolução de DNS com Private Service Connect
Sem o Private Service Connect, as URLs do workspace são resolvidas para endereços IP públicos por meio do front-end regional do Databricks. Depois de anexar um objeto de configurações de acesso privado a um workspace, o Databricks adiciona um hostname <region>.psc.gcp.databricks.com intermediário à cadeia de resolução. Substitua este hostname em sua zona DNS privada para apontar para o IP privado do seu endpoint do Private Service Connect.
Sua zona de DNS privada deve resolver três registros para o IP privado do seu endpoint do Private Service Connect:
- A URL do workspace (
<workspace-id>.<n>.gcp.databricks.com), que navegadores e clientes na VPC de trânsito usam para acessar o workspace. - A URL do plano de dados (
dp-<workspace-id>.<n>.gcp.databricks.com), que o compute clássico e alguns serviços do plano de controle usam. - A URL de autenticação do navegador (
<region>.psc-auth.gcp.databricks.com), que os logins do navegador da Web exigem. O acesso apenas via API REST não precisa deste registro.
Nessas URLs, <n> é um número de um dígito de 0 a 9 que o Databricks atribui ao seu workspace, não um código de região. Use o valor exato da URL do seu workspace, que você pode encontrar na barra de endereços do navegador ao visualizar o workspace ou na lista de workspaces do console da conta.
Para Workspace que usam plano de compute clássico ou Private serviço Connect de entrada, o hostname intermediário do Private serviço Connect é <region>.psc.gcp.databricks.com. Esse hostname separa o tráfego do workspace habilitado para Private Service Connect de outros serviços do Databricks.
URLs personalizadas (<my-custom-account-name>.databricks.com) e accounts.gcp.databricks.com não incluem o hostname psc em sua cadeia de resolução de DNS e devem ser resolvidos separadamente. Consulte Adicionar registros para recursos no nível da account e URLs personalizadas.
Pré-requisitos
Antes de configurar o DNS, verifique se você tem:
- Um Workspace do Databricks implantado com o Private Service Connect de entrada ou um Endpoint de acesso geral registrado para recurso de nível de account. Consulte Configurar o Private serviço Connect de entrada para Workspace e Configurar o Private serviço Connect de entrada para recursos de nível de account.
- Um endpoint do Private Service Connect em sua VPC de trânsito conectado ao anexo de serviço
plproxy-psc-endpoint-all-portspara sua região. Observe o endereço IP privado do endpoint. - A URL do workspace para seu workspace implantado. Obtenha-o na barra de endereços do navegador na IU do workspace ou na lista de workspaces no console da conta.
- Permissões do Google Cloud para criar zonas e registros do Cloud DNS no projeto que hospeda a VPC de trânsito.
Configure uma zona privada do Cloud DNS
Crie uma zona privada do Cloud DNS para o domínio gcp.databricks.com e adicione registros A que resolvam cada URL do Databricks para o IP privado do seu endpoint do Private Service Connect.
Criar uma zona privada de Cloud DNS
- No console do Google Cloud, acesse Zonas do Cloud DNS.
- Clique em Criar zona .
- Para Zone type , selecione Private .
- Em Nome DNS , insira
gcp.databricks.com. - Para Networks , selecione sua rede VPC de trânsito.
- Clique em Criar .
Adicione registros A para as URLs do workspace
Adicione três registros A na nova zona, todos apontando para o IP privado do seu Endpoint do Private Serviço Connect de entrada. Os exemplos a seguir pressupõem que o IP do endpoint é 10.0.0.2 e a ID do workspace é 33333333333333.3.
Record name | Record type | Value |
|---|---|---|
| A |
|
| A |
|
| A |
|
Para um workspace em 33333333333333.3.gcp.databricks.com na região us-east4, os registros são:
33333333333333.3.gcp.databricks.com→10.0.0.2dp-33333333333333.3.gcp.databricks.com→10.0.0.2us-east4.psc-auth.gcp.databricks.com→10.0.0.2
If you only need inbound Private Service Connect from the transit network for REST API access (no browser-based logins), you can omit the psc-auth.gcp.databricks.com record. Most deployments require it.
Adicionar registros para recursos de nível de account e URLs personalizadas
Adicione os seguintes registros para rotear recursos de nível de account e sua URL personalizada para um endpoint de acesso geral registrado.
-
accounts.gcp.databricks.com: Adicione um registro A paraaccounts.gcp.databricks.comà zonagcp.databricks.comque aponte para o IP privado de um endpoint de Acesso Geral registrado. Este registro é necessário, pois a zona privadagcp.databricks.comsubstitui a resolução de DNS público para cada nome no domínio. Também habilita o login unificado privado. Consulte Configurar o Private Service Connect de entrada com login unificado. -
URL personalizada : Obrigatório se você usar URLs personalizadas. Crie uma zona privada do Cloud DNS separada para sua URL personalizada em sua VPC de trânsito e adicione um registro A que aponta para o IP privado de um endpoint de Acesso Geral registrado. Sua URL personalizada pode servir à UI e à API de todos os seus workspaces em qualquer região, e recursos no nível da account.
Configuração | Valor |
|---|---|
Tipo de zona | Privado |
Nome DNS |
|
Nome do registro | Deixe em branco |
Tipo de registro | A |
Valor do registro |
|
Verifique os registros no console
Nas views de zona do Cloud DNS, confirme se os registros A aparecem e resolvem para os IPs de Endpoint do Private serviço Connect esperados.
Configurações de exemplo
Veja padrões de roteamento comuns nos exemplos a seguir. Você pode escolher qualquer modelo de roteamento que atenda aos seus requisitos de segurança, compliance ou rede.
Todos os Workspace em uma região compartilham <region>.psc-auth.gcp.databricks.com, portanto, cada zona privada do Cloud DNS pode roteá-la para apenas um Endpoint. O login no navegador usa esse URL apenas para retornar a resposta de login do Google ao URL do workspace, então seu endpoint não precisa corresponder ao endpoint do URL do workspace e você não precisa permiti-lo em políticas no nível do workspace. Roteie-o para qualquer endpoint que seus usuários possam acessar.
Exemplo 1: Endpoint unificado para recursos de produção, não produção e em nível de account (abordagem de endpoint único)
Neste exemplo, todos os Workspace e recursos no nível da account são acessados por meio de um único Endpoint de Acesso Geral.
Configure as seguintes políticas de roteamento e entrada baseadas em contexto:
Registro de DNS do Cloud | Roteado para endpoint | Configuração de entrada baseada em contexto |
|---|---|---|
URL personalizada (zona | Endpoint 1 registrado | Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account. |
Registros do Workspace (URL do Workspace, URL do plano de dados e | Endpoint 1 registrado | Crie uma política de nível de Workspace que permita o ingresso do Endpoint 1 e anexe-a a todos os Workspace. |
Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:
- Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
- Todos os Workspace que usam sua URL personalizada.
- Todos os Workspace que usam URLs específicas do Workspace.
Exemplo 2: Endpoint separados para recursos de produção, não produção e nível de account (abordagem de múltiplos Endpoint)
Neste exemplo, os Workspace de produção, os Workspace de não produção e os recursos de nível de account são acessados por Endpoint isolados separados.
Configure as seguintes políticas de roteamento e entrada baseadas em contexto:
Registro de DNS do Cloud | Roteado para endpoint | Configuração de entrada baseada em contexto |
|---|---|---|
URL personalizada (zona | Endpoint 1 registrado | Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account. |
Registros de URL do Workspace e URL do plano de dados para Workspace de produção | Endpoint registrado 2 | Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de produção. |
Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção | Endpoint registrado 3 | Crie uma política de nível de Workspace que permita o ingresso do Endpoint 3 e anexe-a aos seus Workspace de não produção. |
| Endpoint 2 ou 3 registrado | Nenhum. Consulte a nota no começar desta seção. |
Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:
- Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
- Workspace de produção que usam URLs específicas de Workspace de produção.
- Workspace que não são de produção usando URLs específicas de Workspace que não são de produção.
Exemplo 3: Endpoint separados para Workspace em diferentes regiões e recursos no nível da account (abordagem de múltiplos Endpoint)
Neste exemplo, os Workspace na região A, os Workspace na região B e os recursos no nível da account são acessados por meio de Endpoint isolados separados.
Configure as seguintes políticas de roteamento e entrada baseadas em contexto:
Registro de DNS do Cloud | Roteado para endpoint | Configuração de entrada baseada em contexto |
|---|---|---|
URL personalizada (zona | Endpoint 1 registrado | Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account. |
Registros de Workspace para Workspace na região A, incluindo | Endpoint registrado 2 | Crie uma política no nível do Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace na região A. |
Registros de workspace para workspaces na região B, incluindo | Endpoint registrado 3 | Crie uma política de nível de Workspace que permita a entrada do Endpoint 3 e anexe-a aos seus Workspace na região B. |
Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:
- Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
- Workspace na região A usando URLs específicos do workspace.
- Workspace na região B usando URLs específicas do workspace.
Exemplo 4: Endpoint compartilhado para recursos de produção e nível de account, Endpoint separado para não produção (abordagem de múltiplos endpoints)
Neste exemplo, os Workspace de produção e os recursos ao nível da account compartilham um Endpoint isolado, enquanto os Workspace que não são de produção usam um Endpoint separado.
Configure as seguintes políticas de roteamento e entrada baseadas em contexto:
Registro de DNS do Cloud | Roteado para endpoint | Configuração de entrada baseada em contexto |
|---|---|---|
URL personalizada (zona | Endpoint 1 registrado | Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account. |
Registros de URL do Workspace e URL do plano de dados para Workspace de produção | Endpoint 1 registrado | Crie também uma política ao nível do Workspace que permita a entrada do Endpoint 1 e anexe-a aos seus Workspace de produção. |
Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção | Endpoint registrado 2 | Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de não produção. |
| Endpoint 1 ou 2 registrado | Nenhum. Consulte a nota no começar desta seção. |
Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:
- Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
- Workspace de produção usando sua URL personalizada.
- Workspace de produção que usam URLs específicas de Workspace de produção.
- Workspace que não são de produção usando URLs específicas de Workspace que não são de produção.
O tráfego de produção e de nível de account permanece isolado do tráfego do Workspace que não é de produção usando Endpoint separados.
Em todas as configurações acima, adicione também o registro accounts.gcp.databricks.com necessário à zona gcp.databricks.com (consulte Adicionar registros para recurso no nível da account e URLs personalizadas). Você pode resolvê-lo para qualquer endpoint de Acesso Geral registrado. Se você quiser acessar recursos de nível de account de forma privada por meio do accounts.gcp.databricks.com sem usar seu URL personalizado, configure a seguinte política de entrada baseada em roteamento e contexto:
Registro de DNS do Cloud | Roteado para endpoint | Configuração de entrada baseada em contexto |
|---|---|---|
| Endpoint 1 registrado | Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account. |
Considere as seguintes diretrizes:
- Sua URL personalizada, URLs específicas de workspace e a URL da account podem ser roteadas para o mesmo endpoint ou para endpoints separados com base em seus requisitos de isolamento.
- Sua URL personalizada pode ser usada para acessar Workspace e recursos de nível de account.
- Use o ingresso baseado em contexto para controlar quais Workspace e recursos em nível de account cada Endpoint registrado pode acessar. Veja Controle de entrada baseado em contexto.
Verificação
Após criar os registros DNS, verifique se as URLs do Workspace são resolvidas para o IP do Endpoint do Private serviço Connect a partir de um cliente na VPC de trânsito.
- Use nslookup
- Use dig
- Test workspace access
De uma VM na VPC de trânsito, execute nslookup contra cada URL:
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2
$ nslookup accounts.gcp.databricks.com
Address: 10.0.0.2
$ nslookup <my-custom-account-name>.databricks.com
Address: 10.0.0.2
Cada comando deve retornar o IP privado do endpoint do Private Service Connect para o qual você roteou essa URL.
Para obter informações de resolução mais detalhadas:
$ dig +short 33333333333333.3.gcp.databricks.com
10.0.0.2
- De uma VM na VPC de trânsito (ou uma estação de trabalho corporativa roteada por ela via VPN ou Interconexão na Nuvem), abra um navegador da web.
- Acesse a URL do seu workspace.
- Verifique se você consegue fazer login e acessar o workspace.
Se você não conseguir acessar o workspace:
- Verifique se todos os três registros A existem e se a URL do workspace e a URL do plano de dados resolvem para o mesmo IP de endpoint do Private Service Connect.
- Verifique se a VPC de trânsito tem conectividade com a sub-rede do endpoint do Private Service Connect.
- Verifique se o workspace tem um objeto de configurações de acesso privado anexado. Consulte Gerenciar configurações de acesso privado.
- Verifique se todas as regras de firewall entre o cliente e o endpoint do Private Service Connect permitem TCP na porta 443.
Problemas comuns
A resolução de DNS retorna IPs públicos : a zona privada do Cloud DNS não está associada à VPC de trânsito ou as queries não estão chegando até ela. Verifique as vinculações de rede da zona.
O console da account ou a URL personalizada não carrega na VPC de trânsito : o registro accounts.gcp.databricks.com ou a zona da URL personalizada está ausente, ou o endpoint não é permitido na política de entrada baseada em contexto de nível de account. Consulte Adicionar registros para recursos de nível de account e URLs personalizadas e Gerenciar políticas de entrada baseadas em contexto de account.
O redirecionamento de login do navegador falha ou travou : O registro <region>.psc-auth.gcp.databricks.com está ausente ou aponta para um endpoint que o navegador não consegue acessar. Adicione ou atualize o registro.
Cluster startup fails after habilitar o Private Service Connect do plano de compute clássico : a URL do Workspace e a URL do plano de dados devem ser resolvidas para o mesmo Endpoint do Private Service Connect a partir da VPC do plano de compute clássico. Se eles forem resolvidos para Endpoint diferentes, os nós do cluster não conseguirão alcançar o plano de controle de forma consistente. Consulte Melhor prática: resolução de DNS consistente.
Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico
Se você configurar o Private Service Connect tanto para o plano de compute de entrada quanto para o clássico, a URL do workspace e a URL do plano de dados (dp-<workspace-id>.<n>.gcp.databricks.com) deverão ser resolvidas para o mesmo endpoint do Private Service Connect a partir de cada VPC que as utiliza.
Quando um nó de compute inicia, o Databricks usa ambas as URLs para alcançar o plano de controle. Se eles forem resolvidos para endpoints diferentes, essa incompatibilidade pode entrar em conflito com sua política de configurações de acesso privado e causar falhas no compute.
Para verificar, execute o seguinte a partir de uma VM na VPC do plano de computação clássico. Ambos os comandos devem retornar o mesmo IP privado:
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com
Se eles não coincidirem, atualize a zona de Cloud DNS na VPC do plano de compute clássico (ou na VPC de trânsito, caso ela também funcione como a VPC do plano de compute clássico) para que ambos os registros apontem para o mesmo endpoint do Private Service Connect.
O que vem a seguir
-
- Configure o Private Service Connect de entrada para Workspace
- Se você ainda não configurou o Private Service Connect.
-
- Ative o Private Service Connect para seu workspace
- Conclua a configuração de conectividade privada configurando o Private Service Connect do seu plano de compute para o plano de controle.
-
- Conceitos do Private Serviço Connect
- Conceitos e arquitetura para conectividade privada no Databricks: AWS PrivateLink, Azure Private Link e GCP Private serviço Connect.
-
- Configurar listas de acesso de IP para Workspace
- Adicione uma camada de filtragem de IP público para implantações de acesso híbrido.