Pular para o conteúdo principal
Página não listada
Esta página não está listada. Mecanismos de busca não armazenarão nenhuma informação, e somente usuários que possuam o link direto poderão acessá-la
Última atualização em

Configure a conectividade privada para APIs do Google

info

Visualização

Esse recurso está em Beta. Para participar desta versão Beta, entre em contato com sua equipe de account do Databricks.

nota

Atualmente, não há cobranças de rede para recursos serverless. Em uma versão futura, você poderá ser cobrado. A Databricks fornecerá aviso prévio para alterações nos preços de rede.

Consulte Entender os custos de rede do Databricks.

O compute Serverless pode se conectar de forma privada às APIs do Google, como o Cloud Storage e o BigQuery, usando o GCP Private Service Connect (PSC). O senhor configura esta conexão no console da conta do Databricks.

A configuração da conectividade privada para o compute serverless fornece:

  • Uma conexão dedicada e privada: O endpoint privado é dedicado à sua conta Databricks e acessível apenas a partir de seus workspaces autorizados.
  • Mitigação aprimorada de exfiltração de dados: o compute serverless com o Unity Catalog fornece proteção integrada contra exfiltração de dados. O Private Service Connect adiciona um controle de camada de rede: você pode incluir seu endpoint PSC dedicado em uma lista de permissões no seu perímetro do VPC Service Controls para que apenas o tráfego desse endpoint possa acessar seus recursos de API do Google.

Como funciona a conectividade privada com as APIs do Google​

A conectividade de rede serverless é gerenciada com configurações de conectividade de rede (NCCs). Um administrador de account cria uma NCC no console de account, e uma única NCC pode ser anexada a um ou mais workspaces.

Ao adicionar uma regra de endpoint privado que tem como alvo as APIs do Google, o Databricks provisiona um endpoint do Private Service Connect do plano de compute serverless para as APIs do Google que você especificar. O Databricks então retorna um URI de endpoint PSC para a regra. Você adiciona esse URI ao seu perímetro do VPC Service Controls como uma regra de entrada e, em seguida, habilita a regra para que o tráfego serverless para essas APIs do Google seja roteado pela infraestrutura do Google Cloud em vez da internet pública.

Para obter mais informações sobre NCCs, consulte Rede de plano de compute serverless.

Requisitos​

  • Todos os workspaces anexados à NCC estão no plano Enterprise.
  • O senhor é um administrador de conta da sua conta do Databricks.
  • Você tem pelo menos um workspace ativo usando compute serverless.
  • Este recurso está disponível nas regiões do Google Cloud onde o compute serverless está habilitado. Consulte Recursos com disponibilidade regional limitada. Um NCC é um objeto regional, e você pode anexá-lo apenas a workspaces na mesma região.
  • Não há suporte de automação do Terraform para o endpoint privado das APIs do Google.

Cada account do Databricks tem as seguintes cotas no Google Cloud:

  • Cada NCC pode ser anexado a até 50 Workspace.
  • Cada account pode ter até 10 NCCs por região.
  • Cada região pode ter até 10 endpoints privados, distribuídos conforme necessário entre seus NCCs.

Habilitar a pré-visualização​

  1. Entre em contato com sua equipe de conta para solicitar acesso à pré-visualização. Sua equipe de conta abre um tíquete para aprovação. A inclusão na lista de permissões pode levar até sete dias.
  2. After your account is allowlisted, go to the account console, select Previews in the sidebar, and enable Outbound (serverless) GCP Private Link to Google APIs .

Configurar conectividade privada​

Configure a conectividade privada para APIs do Google usando o console da conta.

Criar uma configuração de conectividade de rede​

Você pode pular esta etapa se tiver um NCC existente na mesma região que deseja usar.

  1. Como administrador da conta, vá para o console da conta.
  2. Na barra lateral, clique em Security .
  3. Clique na Networking tab .
  4. Em Configurações de conectividade de rede , clique em Adicionar configuração de conectividade de rede .
  5. Insira um nome para o NCC.
  6. Selecione a região. Isso deve corresponder à região do seu workspace.
  7. Clique em Adicionar .

Crie uma regra de endpoint privado para as Google APIs​

  1. Selecione o NCC que você criou e vá para a seção Regras de Endpoint privados .

  2. Clique em Adicionar regra de endpoint privado .

  3. Selecione Google API como o tipo de recurso.

  4. Escolha as APIs do Google para as quais deseja direcionar:

    • Selecione APIs específicas do Google, como Cloud Storage ou BigQuery .
    • Ou selecione Todas as APIs do Google para criar uma regra abrangente para todas as APIs do Google.
    • Ou selecione All VPC-SC compatible services para criar uma regra abrangente para todas as Google APIs que suportam VPC Service Controls. Novos serviços são descobertos automaticamente.

  5. Clique em Adicionar .

Obter o URI do endpoint PSC​

Aguarde alguns minutos para que o endpoint privado termine o provisionamento. O status da conexão transita para ESTABLISHED. Faça refresh da página e, em seguida, copie o URI do endpoint PSC da regra.

Adicione o endpoint à lista de permissões no seu perímetro do VPC Service Controls​

importante

You perform this step in your own Google Cloud account, not in Databricks.

Adicione o URI do endpoint PSC ao seu perímetro do VPC Service Controls como uma regra de entrada. O endpoint do Private Service Connect é de saída do compute serverless da Databricks em direção aos seus recursos de API do Google.

Ativar a regra​

Após o endpoint ter acesso aos seus recursos dentro do seu perímetro, ative a regra.

  1. Na seção Regras de Endpoint privados , encontre sua regra e clique no menu kebab Ícone do menu Kebab..
  2. Clique em Atualizar regra .
  3. Selecione Enable rule .
importante

This step routes traffic for the configured Google APIs through Private Service Connect for any workspace attached to the NCC. Before you continue, verify that you have allowlisted the PSC endpoint URI in your VPC Service Controls perimeter.

Anexe o NCC a um ou mais workspaces​

Ignore este o passo se o seu workspace já estiver anexado à NCC. Para anexar a NCC a um workspace:

  1. Vá para Workspaces na barra lateral.
  2. Selecione um workspace existente.
  3. Clique em Atualizar workspace .
  4. Em Configuração de Conectividade de Rede , selecione a NCC que você criou.
  5. Repita para todos os workspaces aos quais você deseja que esta NCC seja aplicada.

Uma NCC é um objeto regional, portanto, você pode anexá-la apenas a workspaces na mesma região.

Verificar conectividade​

O exemplo a seguir testa a conectividade com um bucket do Cloud Storage registrando-o como um local externo e executando uma query:

  1. Registre seu bucket como um local externo. Consulte locais externos.

  2. Abra o editor SQL e anexe um SQL warehouse serverless.

  3. Execute a seguinte consulta:

    SQL
    CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 'gs://{your-gcs-bucket}/test_connectivity'

Pode levar alguns minutos para que a conexão seja totalmente estabelecida.

nota

If your network policy restricts external access, direct access to your bucket from a notebook or REPL can fail. Register the bucket as an external location to test connectivity, as shown in the preceding steps. See Manage network policies for serverless egress control.

Estados de conexão​

Após criar uma regra de endpoint privado, você pode visualizar seu status de conexão na seção Private endpoint rules do console da conta:

  • CREATING: O endpoint privado está sendo criado.
  • PENDING: Aprovação pendente no recurso.
  • ESTABLISHED: Estabelecido no recurso.
  • REJECTED: Rejeitado no recurso.
  • DISCONNECTED: Desconectado no recurso.
  • EXPIRED: A regra expirou após permanecer no estado REJECTED, DISCONNECTED ou PENDING por 14 dias.

A maioria das mudanças nas regras de endpoint privado propaga-se para o compute serverless em até 10 minutos, mas pode levar até 24 horas para ser totalmente aplicada.

Solução de problemas e feedback​

Para solução de problemas, entre em contato com sua equipe de conta. O Databricks coleta feedback sobre esta visualização por meio de sua equipe de conta, portanto, acompanhe quaisquer problemas que encontrar para ajudar a melhorar futuras iterações do recurso.

Passos seguintes​

Nesta página