Pular para o conteúdo principal

Configurar DNS para o Private Service Connect de entrada do Google Cloud

info

Beta

O acesso privado aos recursos no nível da account está em Beta. Habilite Ingress baseado em contexto: política de account para começar.

Configure o DNS para rotear as solicitações do usuário através da sua rede privada ao usar o Private Service Connect de entrada para workspaces do Databricks e recursos no nível da account. Esta página aborda o modelo de resolução de DNS e instruções passo a passo de configuração para uma zona privada de DNS do Cloud em sua Virtual Private Cloud (VPC) de trânsito.

nota

Esta página aborda a configuração de DNS de entrada do Private Service Connect. Se você também ativar o Private Service Connect do plano de compute clássico, certifique-se de que a URL do workspace e a URL do plano de dados sejam resolvidas consistentemente para o mesmo endpoint do Private Service Connect a partir da VPC que hospeda seus recursos de compute clássico. Consulte Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico.

Visão geral da arquitetura​

O Private Service Connect de entrada no Google Cloud roteia o tráfego da sua VPC de trânsito para um endpoint do Private Service Connect que aponta para o anexo de serviço do workspace do Databricks. Sua zona DNS privada resolve a URL do workspace, a URL do plano de dados e a URL de autenticação do navegador para o endereço IP do endpoint do Private Service Connect na VPC de trânsito.

Você pode compartilhar uma VPC de trânsito entre vários workspaces na mesma região, mas a VPC de trânsito deve conter apenas workspaces que usam o Private Service Connect de entrada ou apenas workspaces que não o usam. A resolução de DNS do Google Cloud não suporta a mistura de ambos os tipos em uma única VPC de trânsito.

Resolução de DNS com Private Service Connect​

Sem o Private Service Connect, as URLs do workspace são resolvidas para endereços IP públicos por meio do front-end regional do Databricks. Depois de anexar um objeto de configurações de acesso privado a um workspace, o Databricks adiciona um hostname <region>.psc.gcp.databricks.com intermediário à cadeia de resolução. Substitua este hostname em sua zona DNS privada para apontar para o IP privado do seu endpoint do Private Service Connect.

Sua zona de DNS privada deve resolver três registros para o IP privado do seu endpoint do Private Service Connect:

  • A URL do workspace (<workspace-id>.<n>.gcp.databricks.com), que navegadores e clientes na VPC de trânsito usam para acessar o workspace.
  • A URL do plano de dados (dp-<workspace-id>.<n>.gcp.databricks.com), que o compute clássico e alguns serviços do plano de controle usam.
  • A URL de autenticação do navegador (<region>.psc-auth.gcp.databricks.com), que os logins do navegador da Web exigem. O acesso apenas via API REST não precisa deste registro.

Nessas URLs, <n> é um número de um dígito de 0 a 9 que o Databricks atribui ao seu workspace, não um código de região. Use o valor exato da URL do seu workspace, que você pode encontrar na barra de endereços do navegador ao visualizar o workspace ou na lista de workspaces do console da conta.

Para Workspace que usam plano de compute clássico ou Private serviço Connect de entrada, o hostname intermediário do Private serviço Connect é <region>.psc.gcp.databricks.com. Esse hostname separa o tráfego do workspace habilitado para Private Service Connect de outros serviços do Databricks.

URLs personalizadas (<my-custom-account-name>.databricks.com) e accounts.gcp.databricks.com não incluem o hostname psc em sua cadeia de resolução de DNS e devem ser resolvidos separadamente. Consulte Adicionar registros para recursos no nível da account e URLs personalizadas.

Pré-requisitos​

Antes de configurar o DNS, verifique se você tem:

Configure uma zona privada do Cloud DNS​

Crie uma zona privada do Cloud DNS para o domínio gcp.databricks.com e adicione registros A que resolvam cada URL do Databricks para o IP privado do seu endpoint do Private Service Connect.

Criar uma zona privada de Cloud DNS​

  1. No console do Google Cloud, acesse Zonas do Cloud DNS.
  2. Clique em Criar zona .
  3. Para Zone type , selecione Private .
  4. Em Nome DNS , insira gcp.databricks.com.
  5. Para Networks , selecione sua rede VPC de trânsito.
  6. Clique em Criar .

Adicione registros A para as URLs do workspace​

Adicione três registros A na nova zona, todos apontando para o IP privado do seu Endpoint do Private Serviço Connect de entrada. Os exemplos a seguir pressupõem que o IP do endpoint é 10.0.0.2 e a ID do workspace é 33333333333333.3.

Record name

Record type

Value

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Record name

Record type

Value

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Para um workspace em 33333333333333.3.gcp.databricks.com na região us-east4, os registros são:

  • 33333333333333.3.gcp.databricks.com → 10.0.0.2
  • dp-33333333333333.3.gcp.databricks.com → 10.0.0.2
  • us-east4.psc-auth.gcp.databricks.com → 10.0.0.2
nota

If you only need inbound Private Service Connect from the transit network for REST API access (no browser-based logins), you can omit the psc-auth.gcp.databricks.com record. Most deployments require it.

Adicionar registros para recursos de nível de account e URLs personalizadas​

Adicione os seguintes registros para rotear recursos de nível de account e sua URL personalizada para um endpoint de acesso geral registrado.

  • accounts.gcp.databricks.com : Adicione um registro A para accounts.gcp.databricks.com à zona gcp.databricks.com que aponte para o IP privado de um endpoint de Acesso Geral registrado. Este registro é necessário, pois a zona privada gcp.databricks.com substitui a resolução de DNS público para cada nome no domínio. Também habilita o login unificado privado. Consulte Configurar o Private Service Connect de entrada com login unificado.

  • URL personalizada : Obrigatório se você usar URLs personalizadas. Crie uma zona privada do Cloud DNS separada para sua URL personalizada em sua VPC de trânsito e adicione um registro A que aponta para o IP privado de um endpoint de Acesso Geral registrado. Sua URL personalizada pode servir à UI e à API de todos os seus workspaces em qualquer região, e recursos no nível da account.

Configuração

Valor

Tipo de zona

Privado

Nome DNS

<my-custom-account-name>.databricks.com

Nome do registro

Deixe em branco

Tipo de registro

A

Valor do registro

<PL endpoint IP>

Configuração

Valor

Tipo de zona

Privado

Nome DNS

<my-custom-account-name>.databricks.com

Nome do registro

Deixe em branco

Tipo de registro

A

Valor do registro

<PL endpoint IP>

Verifique os registros no console​

Nas views de zona do Cloud DNS, confirme se os registros A aparecem e resolvem para os IPs de Endpoint do Private serviço Connect esperados.

Configurações de exemplo​

Veja padrões de roteamento comuns nos exemplos a seguir. Você pode escolher qualquer modelo de roteamento que atenda aos seus requisitos de segurança, compliance ou rede.

nota

Todos os Workspace em uma região compartilham <region>.psc-auth.gcp.databricks.com, portanto, cada zona privada do Cloud DNS pode roteá-la para apenas um Endpoint. O login no navegador usa esse URL apenas para retornar a resposta de login do Google ao URL do workspace, então seu endpoint não precisa corresponder ao endpoint do URL do workspace e você não precisa permiti-lo em políticas no nível do workspace. Roteie-o para qualquer endpoint que seus usuários possam acessar.

Exemplo 1: Endpoint unificado para recursos de produção, não produção e em nível de account (abordagem de endpoint único)​

Neste exemplo, todos os Workspace e recursos no nível da account são acessados por meio de um único Endpoint de Acesso Geral.

Configure as seguintes políticas de roteamento e entrada baseadas em contexto:

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros do Workspace (URL do Workspace, URL do plano de dados e <region>.psc-auth.gcp.databricks.com) para todos os Workspace

Endpoint 1 registrado

Crie uma política de nível de Workspace que permita o ingresso do Endpoint 1 e anexe-a a todos os Workspace.

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros do Workspace (URL do Workspace, URL do plano de dados e <region>.psc-auth.gcp.databricks.com) para todos os Workspace

Endpoint 1 registrado

Crie uma política de nível de Workspace que permita o ingresso do Endpoint 1 e anexe-a a todos os Workspace.

Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:

  • Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
  • Todos os Workspace que usam sua URL personalizada.
  • Todos os Workspace que usam URLs específicas do Workspace.

Exemplo 2: Endpoint separados para recursos de produção, não produção e nível de account (abordagem de múltiplos Endpoint)​

Neste exemplo, os Workspace de produção, os Workspace de não produção e os recursos de nível de account são acessados por Endpoint isolados separados.

Configure as seguintes políticas de roteamento e entrada baseadas em contexto:

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de URL do Workspace e URL do plano de dados para Workspace de produção

Endpoint registrado 2

Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de produção.

Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção

Endpoint registrado 3

Crie uma política de nível de Workspace que permita o ingresso do Endpoint 3 e anexe-a aos seus Workspace de não produção.

<region>.psc-auth.gcp.databricks.com para cada região

Endpoint 2 ou 3 registrado

Nenhum. Consulte a nota no começar desta seção.

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de URL do Workspace e URL do plano de dados para Workspace de produção

Endpoint registrado 2

Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de produção.

Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção

Endpoint registrado 3

Crie uma política de nível de Workspace que permita o ingresso do Endpoint 3 e anexe-a aos seus Workspace de não produção.

<region>.psc-auth.gcp.databricks.com para cada região

Endpoint 2 ou 3 registrado

Nenhum. Consulte a nota no começar desta seção.

Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:

  • Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
  • Workspace de produção que usam URLs específicas de Workspace de produção.
  • Workspace que não são de produção usando URLs específicas de Workspace que não são de produção.

Exemplo 3: Endpoint separados para Workspace em diferentes regiões e recursos no nível da account (abordagem de múltiplos Endpoint)​

Neste exemplo, os Workspace na região A, os Workspace na região B e os recursos no nível da account são acessados por meio de Endpoint isolados separados.

Configure as seguintes políticas de roteamento e entrada baseadas em contexto:

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de Workspace para Workspace na região A, incluindo <region A>.psc-auth.gcp.databricks.com

Endpoint registrado 2

Crie uma política no nível do Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace na região A.

Registros de workspace para workspaces na região B, incluindo <region B>.psc-auth.gcp.databricks.com

Endpoint registrado 3

Crie uma política de nível de Workspace que permita a entrada do Endpoint 3 e anexe-a aos seus Workspace na região B.

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de Workspace para Workspace na região A, incluindo <region A>.psc-auth.gcp.databricks.com

Endpoint registrado 2

Crie uma política no nível do Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace na região A.

Registros de workspace para workspaces na região B, incluindo <region B>.psc-auth.gcp.databricks.com

Endpoint registrado 3

Crie uma política de nível de Workspace que permita a entrada do Endpoint 3 e anexe-a aos seus Workspace na região B.

Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:

  • Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
  • Workspace na região A usando URLs específicos do workspace.
  • Workspace na região B usando URLs específicas do workspace.

Exemplo 4: Endpoint compartilhado para recursos de produção e nível de account, Endpoint separado para não produção (abordagem de múltiplos endpoints)​

Neste exemplo, os Workspace de produção e os recursos ao nível da account compartilham um Endpoint isolado, enquanto os Workspace que não são de produção usam um Endpoint separado.

Configure as seguintes políticas de roteamento e entrada baseadas em contexto:

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de URL do Workspace e URL do plano de dados para Workspace de produção

Endpoint 1 registrado

Crie também uma política ao nível do Workspace que permita a entrada do Endpoint 1 e anexe-a aos seus Workspace de produção.

Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção

Endpoint registrado 2

Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de não produção.

<region>.psc-auth.gcp.databricks.com para cada região

Endpoint 1 ou 2 registrado

Nenhum. Consulte a nota no começar desta seção.

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

URL personalizada (zona <my-custom-account-name>.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registros de URL do Workspace e URL do plano de dados para Workspace de produção

Endpoint 1 registrado

Crie também uma política ao nível do Workspace que permita a entrada do Endpoint 1 e anexe-a aos seus Workspace de produção.

Registros de URL do Workspace e URL do plano de dados para Workspace que não são de produção

Endpoint registrado 2

Crie uma política de nível de Workspace que permita a entrada do Endpoint 2 e anexe-a aos seus Workspace de não produção.

<region>.psc-auth.gcp.databricks.com para cada região

Endpoint 1 ou 2 registrado

Nenhum. Consulte a nota no começar desta seção.

Com essa configuração, os usuários podem acessar via Private Service Connect de entrada:

  • Recursos de nível de account, como o console de account e o Genie One de nível de account, usando sua URL personalizada.
  • Workspace de produção usando sua URL personalizada.
  • Workspace de produção que usam URLs específicas de Workspace de produção.
  • Workspace que não são de produção usando URLs específicas de Workspace que não são de produção.

O tráfego de produção e de nível de account permanece isolado do tráfego do Workspace que não é de produção usando Endpoint separados.

Em todas as configurações acima, adicione também o registro accounts.gcp.databricks.com necessário à zona gcp.databricks.com (consulte Adicionar registros para recurso no nível da account e URLs personalizadas). Você pode resolvê-lo para qualquer endpoint de Acesso Geral registrado. Se você quiser acessar recursos de nível de account de forma privada por meio do accounts.gcp.databricks.com sem usar seu URL personalizado, configure a seguinte política de entrada baseada em roteamento e contexto:

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

accounts.gcp.databricks.com (na zona gcp.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

Registro de DNS do Cloud

Roteado para endpoint

Configuração de entrada baseada em contexto

accounts.gcp.databricks.com (na zona gcp.databricks.com)

Endpoint 1 registrado

Na política de nível de account, adicione uma regra de permissão para o endpoint 1 acessar recursos de nível de account.

dica

Considere as seguintes diretrizes:

  • Sua URL personalizada, URLs específicas de workspace e a URL da account podem ser roteadas para o mesmo endpoint ou para endpoints separados com base em seus requisitos de isolamento.
  • Sua URL personalizada pode ser usada para acessar Workspace e recursos de nível de account.
  • Use o ingresso baseado em contexto para controlar quais Workspace e recursos em nível de account cada Endpoint registrado pode acessar. Veja Controle de entrada baseado em contexto.

Verificação​

Após criar os registros DNS, verifique se as URLs do Workspace são resolvidas para o IP do Endpoint do Private serviço Connect a partir de um cliente na VPC de trânsito.

De uma VM na VPC de trânsito, execute nslookup contra cada URL:

Bash
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2

$ nslookup accounts.gcp.databricks.com
Address: 10.0.0.2

$ nslookup <my-custom-account-name>.databricks.com
Address: 10.0.0.2

Cada comando deve retornar o IP privado do endpoint do Private Service Connect para o qual você roteou essa URL.

Problemas comuns​

A resolução de DNS retorna IPs públicos : a zona privada do Cloud DNS não está associada à VPC de trânsito ou as queries não estão chegando até ela. Verifique as vinculações de rede da zona.

O console da account ou a URL personalizada não carrega na VPC de trânsito : o registro accounts.gcp.databricks.com ou a zona da URL personalizada está ausente, ou o endpoint não é permitido na política de entrada baseada em contexto de nível de account. Consulte Adicionar registros para recursos de nível de account e URLs personalizadas e Gerenciar políticas de entrada baseadas em contexto de account.

O redirecionamento de login do navegador falha ou travou : O registro <region>.psc-auth.gcp.databricks.com está ausente ou aponta para um endpoint que o navegador não consegue acessar. Adicione ou atualize o registro.

Cluster startup fails after habilitar o Private Service Connect do plano de compute clássico : a URL do Workspace e a URL do plano de dados devem ser resolvidas para o mesmo Endpoint do Private Service Connect a partir da VPC do plano de compute clássico. Se eles forem resolvidos para Endpoint diferentes, os nós do cluster não conseguirão alcançar o plano de controle de forma consistente. Consulte Melhor prática: resolução de DNS consistente.

Melhor prática: resolução de DNS consistente para o Private Service Connect do plano de compute clássico​

Se você configurar o Private Service Connect tanto para o plano de compute de entrada quanto para o clássico, a URL do workspace e a URL do plano de dados (dp-<workspace-id>.<n>.gcp.databricks.com) deverão ser resolvidas para o mesmo endpoint do Private Service Connect a partir de cada VPC que as utiliza.

Quando um nó de compute inicia, o Databricks usa ambas as URLs para alcançar o plano de controle. Se eles forem resolvidos para endpoints diferentes, essa incompatibilidade pode entrar em conflito com sua política de configurações de acesso privado e causar falhas no compute.

Para verificar, execute o seguinte a partir de uma VM na VPC do plano de computação clássico. Ambos os comandos devem retornar o mesmo IP privado:

Bash
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com

Se eles não coincidirem, atualize a zona de Cloud DNS na VPC do plano de compute clássico (ou na VPC de trânsito, caso ela também funcione como a VPC do plano de compute clássico) para que ambos os registros apontem para o mesmo endpoint do Private Service Connect.

O que vem a seguir​