Habilite o serviço privado Connect para seu workspace

Esta página fornece uma visão geral do serviço privado Connect em Databricks e inclui etapas de configuração para ativar a conectividade privada de back-end .

• Para ativar a conectividade privada de front-end com o Databricks, consulte Configurar conectividade privada com o Databricks.
• Para usar a API REST, consulte a referência da API de configurações de acesso privado.

nota

O senhor deve entrar em contato com a equipe Databricks account para solicitar acesso para habilitar o serviço privado Connect no seu workspace. Databricks O suporte para conectividade privada usando o serviço privado Connect está geralmente disponível.

Esse recurso requer a camada Enterprise.

Visão geral da conectividade privada

O serviço Private Connect permite conectividade segura e privada entre o seu Databricks workspace e os usuários ou compute recurso, garantindo que o tráfego nunca atravesse a Internet pública. Esse recurso foi projetado para ajudar as organizações a atender aos requisitos de segurança e compliance, fornecendo uma rede privada de ponta a ponta e reduzindo o risco de exfiltração de dados.

O senhor pode implementar o Private Service Connect front-end ou back-end de forma independente, dependendo de suas necessidades de segurança. No entanto, para obter o isolamento completo da rede, em que o Databricks rejeita automaticamente todas as conexões de rede pública, tanto de front-end quanto de back-end, o senhor deve ativar o Private serviço Connect. Essa abordagem abrangente cria uma solução de rede privada de ponta a ponta, reduzindo a superfície de ataque e oferecendo suporte a compliance para cargas de trabalho confidenciais.

Com o Private Service Connect, o senhor pode:

• Impeça o acesso aos dados de redes não autorizadas ou da Internet pública usando o aplicativo da Web ou a API da Databricks.
• Reduzir substancialmente o risco de exfiltração de dados, limitando a exposição da rede ao endpoint privado aprovado.

Para implantar o serviço privado Connect, o senhor deve:

• Crie um novo Databricks workspace que use um cliente gerenciar VPC. O senhor não pode adicionar a conectividade do Private Service Connect a um workspace existente ou a um workspace que use um Databricks-gerenciar VPC.
• Crie objetos de configuração Databricks específicos e atualizações de configurações existentes para definir as configurações de acesso privado e o ponto de extremidade VPC permitido. Consulte a Etapa 3: Criar o endpoint VPC.

Terminologia

Os seguintes termos do Google Cloud são usados neste guia para descrever a configuração do Databricks:

Terminologia do Google e da Databricks	Descrição
Google Cloud : Serviço privado Connect (PSC)	Um recurso do Google Cloud que fornece conectividade privada entre as redes VPC e o serviço Google Cloud. Permite que os consumidores acessem o serviço gerenciado de forma privada de dentro de sua rede VPC. Também usado por Databricks para conexões privadas entre VPCs e Databricks serviço.
Google Cloud : projeto anfitrião	Nas configurações do Shared VPC, esse é o projeto em que as VPCs são criadas, usadas tanto para o plano clássico compute VPC (back-end do Private Service Connect) quanto para o trânsito VPC (front-end do Private Service Connect).
Google Cloud : Projeto de serviço	Nas configurações compartilhadas do VPC, esse é o projeto que contém o recurso workspace compute .
Google Cloud : Serviço privado Connect endpoint ou VPC endpoint	Uma conexão privada de uma rede VPC para o serviço, como as publicadas por Databricks. Em GCP, endpoint são endereços IP internos em uma rede de consumidores VPC que podem ser acessados diretamente por clientes nessa rede.
Databricks : Cliente	Um usuário em um navegador que acessa a UI da Databricks ou um cliente de aplicativo que acessa as APIs da Databricks.
Databricks : VPC de trânsito	A rede VPC hospeda clientes que acessam o Databricks workspace WebApp ou APIs. Em termos do Google, esse é frequentemente o VPC usado para o endpoint PSC front-end.
Databricks : Front-end (usuário para o espaço de trabalho) Serviço privado Connect endpoint	O serviço privado Connect endpoint configurado na rede de trânsito VPC permite que os clientes se conectem de forma privada ao aplicativo da Web Databricks e ao site APIs.
Databricks : Back-end (plano clássico compute para o plano de controle) Serviço privado Connect endpoint	Serviço privado O ponto de extremidade Connect na rede VPC gerenciada pelo cliente permite a comunicação privada entre o plano compute clássico e o plano de controle Databricks.
Databricks : Clássico compute avião VPC	A rede VPC que hospeda o recurso compute do seu Databricks workspace, configurado na sua organização GCP. Em termos do Google, esse é o VPC para back-end do Private Service Connect.
Databricks : Privado workspace	Um workspace em que as VMs clássicas do plano compute não têm endereços IP públicos. no plano de controle do Databricks só pode ser acessado de forma privada a partir de redes ou IPs autorizados do VPC. Em GCP, Databricks cria clustering sem IPs públicos por default.

Habilite o serviço privado de back-end Connect para o seu workspace

O serviço privado de back-end Connect conecta o Databricks clássico compute recurso em um cliente VPC ao workspace serviço principal. clustering se conectam ao plano de controle para Databricks REST APIs e relé de conectividade de clustering seguro. O guia a seguir inclui as etapas de configuração que podem ser executadas usando o console Databricks account ou o API.

Requisitos e limitações

Os seguintes requisitos e limitações se aplicam:

• Somente novo espaço de trabalho : o senhor pode criar um novo workspace com conectividade Private serviço Connect. O senhor não pode adicionar a conectividade do Private Service Connect a um site existente workspace.

• É necessário gerenciar o cliente VPC: O senhor deve usar um gerenciador de clientes VPC. O senhor pode criar seu VPC no console do Google Cloud. Em seguida, no console Databricks account ou no API, o senhor cria uma configuração de rede que faz referência ao seu VPC e define campos adicionais específicos para o serviço privado Connect.

• Habilite seu account : Databricks deve habilitar seu account para o recurso. Para habilitar o serviço privado Connect em um ou mais espaços de trabalho, entre em contato com a equipe Databricks account e solicite a habilitação em seu account. Forneça a região do Google Cloud e o ID do seu projeto de host para reservar uma cota para conexões do Private Service Connect. Depois que seu account estiver habilitado para o Serviço Privado Connect, use o console Databricks account ou o API para configurar seus objetos do Serviço Privado Connect e criar um novo espaço de trabalho.

• Cotas : O senhor pode configurar até dois pontos de extremidade do Private Service Connect por região e por projeto de host VPC para Databricks. Vários espaços de trabalho do Databricks no mesmo VPC e região devem compartilhar esses endpoints porque os endpoints do Private serviço Connect são recursos específicos da região. Se essa cota representar uma limitação para a sua configuração, entre em contato com a equipe do account.

• Não há conectividade entre regiões : Serviço privado Connect workspace componentes devem estar na mesma região, incluindo:

  • Rede VPC de trânsito e sub-redes
  • plano de computação VPC network and subnets
  • Espaço de trabalho do Databricks
  • Serviço privado Ponto de extremidade do Connect
  • Serviço privado Conectar endpoint sub-redes

• Conjunto de dados de amostra . O conjunto de dados de amostra Unity Catalog e o conjunto de dados Databricks ficam disponíveis quando o senhor usa serverless compute ou quando um NAT/proxy de nuvem é configurado para que o VPC forneça acesso à Internet. Consulte Conjunto de dados de amostra.

Várias opções para topologia de rede

O senhor pode implantar um Databricks workspace privado com as seguintes opções de configuração de rede:

• Hospedar usuários (clientes) do Databricks e o plano Databricks clássico compute na mesma rede : Nessa opção, o plano de trânsito VPC e compute VPC referem-se à mesma rede subjacente VPC. Se o senhor escolher essa topologia, todo o acesso a qualquer Databricks workspace a partir desse VPC deverá passar pela conexão front-end do Private Serviço Connect para esse VPC. Consulte Requisitos e limitações.
• Hospede os usuários (clientes) do Databricks e o plano Databricks clássico compute em redes separadas : Nessa opção, o usuário ou o cliente do aplicativo pode acessar diferentes espaços de trabalho do Databricks usando diferentes caminhos de rede. Opcionalmente, o senhor pode permitir que um usuário em trânsito VPC acesse um workspace privado por meio de uma conexão Private Serviço Connect e também que usuários na Internet pública acessem o workspace.
• Hospedar o plano compute para vários espaços de trabalho Databricks na mesma rede : Nessa opção, o plano compute VPC para vários espaços de trabalho Databricks refere-se à mesma rede subjacente VPC. Todos esses espaços de trabalho devem compartilhar o mesmo back-end Serviço privado Connect endpoint. Esse padrão de implantação pode permitir que o senhor configure um número menor de endpoints do Private Service Connect enquanto configura um grande número de workspaces.

O senhor pode compartilhar um trânsito VPC para vários espaços de trabalho. No entanto, cada trânsito VPC deve conter apenas o espaço de trabalho que usa o front-end Private serviço Connect, ou apenas o espaço de trabalho que não usa o front-end Private serviço Connect. Devido à forma como a resolução de DNS funciona no Google Cloud, o senhor não pode usar os dois tipos de espaço de trabalho com um único trânsito VPC.

Arquitetura de referência

Uma implementação do Databricks workspace inclui os seguintes caminhos de rede que o senhor pode proteger:

• cliente Databricks em sua VPC de trânsito para o plano de controle do Databricks. Isso inclui o aplicativo da Web e o acesso à API REST.
• Databricks plano clássico compute VPC rede para o plano de controle Databricks serviço. Isso inclui o relé de conectividade de clustering seguro e a conexão workspace para o ponto de extremidade REST API .
• Databricks avião clássico compute para armazenamento em um projeto Databricks-gerenciar.
• O plano de controle do Databricks para o armazenamento em seus projetos, incluindo o bucket DBFS.

É possível ter uma arquitetura sem firewall para restringir o tráfego de saída, idealmente usando um metastore externo. O tráfego de saída para um repositório de biblioteca pública não é possível pelo default, mas o senhor pode trazer seu próprio repositório de pacote espelhado localmente.

O senhor também pode usar uma arquitetura de firewall e permitir a saída para repositórios de pacotes públicos e o metastore opcional Databricks-gerenciar.

Referência de anexos de serviços regionais

Para ativar o serviço privado Connect, o senhor precisa dos URIs de anexo de serviço para o seguinte endpoint de sua região:

• O site workspace endpoint . Isso termina com o sufixo plproxy-psc-endpoint-all-ports. Isso tem um papel duplo. Isso é usado pelo serviço privado de back-end Connect para se conectar ao plano de controle para REST APIs. Isso também é usado pelo front-end do Private Service Connect para conectar seu trânsito VPC ao aplicativo da Web workspace e REST APIs.
• O relé de conectividade de clustering seguro (SCC) endpoint . Isso termina com o sufixo ngrok-psc-endpoint. Isso é usado somente para o serviço privado de back-end Connect. Ele se conecta ao plano de controle para o relé de conectividade de clustering seguro (SCC).

Para obter os URIs de anexo de serviço workspace endpoint e SCC relay endpoint para sua região, consulte URIs de anexo de serviço privado Connect (PSC) e números de projeto.

Etapa 1: Habilite seu account para o serviço privado Connect

Antes que o Databricks possa aceitar conexões do Private Serviço Connect de seus projetos do Google Cloud, o senhor deve entrar em contato com a equipe do Databricks account e fornecer as seguintes informações para cada workspace onde deseja ativar o Private Serviço Connect:

• ID da conta Databricks

  1. account Comolog in Databricks account administrador do, acesse o console.
  2. Clique na seta para baixo ao lado do seu nome de usuário no canto superior direito
  3. No menu, clique no ícone de cópia para copiar o ID do account.

• VPC ID do projeto de host do planocompute VPC , se o senhor estiver habilitando o serviço privado de back-end Connect

• VPC ID do projeto de host do trânsito VPC , se o senhor estiver habilitando o serviço privado de front-end Connect

• Região do workspace

important

Um representante do Databricks responderá com uma confirmação quando o Databricks estiver configurado para aceitar conexões do Private Service Connect de seus projetos do Google Cloud. Isso pode levar até três dias úteis.

Etapa 2: criar uma sub-rede

Na rede clássica do plano compute VPC , crie uma sub-rede especificamente para o endpoint do Private Serviço Connect. As instruções a seguir pressupõem o uso do console do Google Cloud, mas também é possível usar o site gcloud CLI para realizar tarefas semelhantes.

Para criar uma sub-rede:

1. No console de nuvem do Google Cloud, acesse a página da listaVPC.

2. Clique em Adicionar sub-rede .

3. Defina o nome, a descrição e a região.

4. Se o campo Propósito estiver visível (talvez não esteja visível), escolha Nenhum :

5. Defina um intervalo de IP privado para a sub-rede, como 10.0.0.0/24.

important

Seus intervalos de IP não podem se sobrepor a nenhum dos seguintes:

• Sub-rede da BYO VPC.

• Sub-rede que contém o ponto de extremidade do Private Serviço Connect.

6. Confirme se a sua sub-rede foi adicionada ao VPC view no console do Google Cloud para o seu VPC:

Etapa 3: Criar o endpoint VPC

O senhor deve criar um endpoint VPC que se conecte aos anexos de serviço do Databricks. Os URIs dos anexos de serviço variam de acordo com a região workspace. As instruções a seguir pressupõem o uso do console do Google Cloud, mas também é possível usar o site gcloud CLI para realizar tarefas semelhantes. Para obter instruções sobre como criar o endpoint VPC para os anexos de serviço usando o gcloud CLI ou API, consulte este artigo do Google Cloud Platform.

Na sub-rede que o senhor criou, crie o endpoint VPC para os seguintes anexos de serviço do seu plano clássico compute VPC:

• O site workspace endpoint. Isso termina com o sufixo plproxy-psc-endpoint-all-ports.
• O relé de conectividade de clustering seguro endpoint. Isso termina com o sufixo ngrok-psc-endpoint

Para criar um VPC endpoint no console do Google Cloud:

1. Acesse o serviço privado Connect.

2. Clique no ponto de extremidade CONNECTED tab.

3. Clique em + Conectar endpoint .

4. Em Target , selecione Serviço publicado .

5. Para o serviço de destino , digite o URI de anexo do serviço.

important

Consulte a tabela em Referência de anexos de serviço regional para obter os dois URIs de anexo de serviço Databricks para sua região workspace.

6. Para o nome do endpoint, digite um nome a ser usado para o endpoint.

7. Selecione uma rede VPC para o endpoint.

8. Selecione uma sub-rede para o site endpoint. Especifique a sub-rede que o senhor criou para o endpoint do Private Serviço Connect.

9. Selecione um endereço IP para o site endpoint. Se você precisar de um novo endereço IP:

   1. Clique no menu suspenso Endereço IP e selecione Criar endereço IP .
   2. Insira um nome e uma descrição opcional.
   3. Para um endereço IP estático, selecione Atribuir automaticamente ou Deixe-me escolher .
   4. Se você selecionou Deixe-me escolher , insira o endereço IP personalizado.
   5. Clique em Reservar .

10. Selecione um namespace na lista suspensa ou crie um novo namespace. A região é preenchida com base na sub-rede selecionada.

11. Clique em Add endpoint.

Etapa 4: registre seu endpoint VPC

Registre seu endpoint do Google Cloud usando o console Databricks account . O senhor também pode usar o endpointVPC Configurations API.

1. Acesse o consoleDatabricks account.

2. Clique no recurso Cloud tab e, em seguida, em VPC endpoint .

3. Clique em registro VPC endpoint .

4. Para cada um dos seus endpoints do Private Service Connect, preencha os campos necessários para registrar um novo VPC endpoint:

   • VPC endpoint name : Um nome legível para identificar o VPC endpoint. Databricks recomenda o uso do mesmo nome do seu serviço privado Connect endpoint ID, mas não é necessário que eles correspondam.
   • Região : A região do Google Cloud onde esse serviço privado Connect endpoint está definido.
   • ID do projeto de rede VPC do Google Cloud : A ID do projeto do Google Cloud em que esse endpoint está definido. Para conectividade de back-end, esse é o ID do projeto para a rede workspace VPC . Para conectividade front-end, esse é o ID do projeto da VPC em que as conexões do usuário se originam, o que às vezes é chamado de VPC de trânsito.

A tabela a seguir mostra as informações que o senhor deve usar para cada endpoint se estiver usando tanto o back-end quanto o front-end do Private Service Connect.

Tipo de endpoint	campo	Exemplo
Back-end clássico compute plano VPC REST/workspace endpoint (plproxy-psc-endpoint-all-ports)	VPC endpoint nome (Databricks recomenda que o nome corresponda ao ID do Google Cloud endpoint )	psc-demo-dp-rest-api
	ID do projeto de rede VPC do Google Cloud	databricks-dev-xpn-host
	Região do Google Cloud	us-east4
Back-end clássico compute plano VPC SCC relay endpoint (psc-demo-dp-ngrok)	VPC endpoint nome (Databricks recomenda que o nome corresponda ao ID do Google Cloud endpoint )	psc-demo-dp-ngrok
	ID do projeto de rede VPC do Google Cloud	databricks-dev-xpn-host
	Região do Google Cloud	us-east4

Quando terminar, o senhor pode usar a lista de endpoints VPC no console account para revisar a lista de endpoints e confirmar as informações. Em geral, ficaria assim:

Etapa 5: criar um objeto de configurações de acesso privado do Databricks

Crie um objeto de configurações de acesso privado que defina várias configurações do Private Service Connect para seu workspace. Esse objeto será anexado ao seu workspace. Um objeto de configurações de acesso privado pode ser anexado a vários espaços de trabalho na mesma região. Para criar objetos de configurações de acesso privado, consulte Criar um objeto de configurações de acesso privado.

Etapa 6: criar uma configuração de rede

Crie uma configuração de rede Databricks, que encapsula informações sobre seu cliente-gerenciar VPC para seu workspace. Esse objeto será anexado ao seu workspace. O senhor também pode usar a API de configurações de rede.

1. Acesse o consoleDatabricks account.
2. Clique no recurso Cloud tab e, em seguida, em Network configurations (Configurações de rede ).
3. Clique em Adicionar configuração de rede .

A tabela a seguir mostra as informações que o senhor precisa usar para cada endpoint.

campo	Valor de exemplo
Nome da configuração de rede	psc-demo-network
ID do projeto GCP da rede	databricks-dev-xpn-host
Nome da VPC	psc-demo-dp-vpc
Nome da sub-rede	subnet-psc-demo-dp-vpc
Região da sub-rede	us-east4
Endpoint VPC para transmissão segura da conectividade do cluster	psc-demo-dp-ngrok
VPC endpoint Para REST APIs (conexão back-end para workspace)	psc-demo-dp-rest-api

Etapa 7: Criar um workspace

Crie um workspace usando a configuração de rede que o senhor criou usando o console account. O senhor também pode usar o espaço de trabalho API.

1. Acesse o consoleDatabricks account.

2. Clique no espaço de trabalho tab.

3. Clique em Create workspace .

4. Defina esses campos padrão do site workspace:

   • Nome do workspace
   • Região
   • ID do projeto workspace compute da nuvem VPC do Google (o projeto do recurso do, que pode ser diferente do ID do projeto do seu).

5. Definir campos específicos do Private Service Connect:

   1. Clique em Configurações avançadas .
   2. No campo Configuração de rede , escolha a configuração de rede que você criou nas etapas anteriores.
   3. No campo Conectividade privada , escolha o objeto de configurações de acesso privado que você criou nas etapas anteriores. Observe que um objeto de configurações de acesso privado pode ser anexado a vários espaços de trabalho.

6. Clique em Salvar .

Etapa 8: Validar a configuração do site workspace

Depois de criar o workspace, volte para a página workspace e encontre o recém-criado workspace. Normalmente, leva de 30 segundos a 3 minutos para que o site workspace passe do status PROVISIONING para o status RUNNING. Quando o status mudar para RUNNING, o site workspace estará configurado com êxito.

O senhor pode validar a configuração usando o console Databricks account :

1. Clique em Cloud recurso e, em seguida, em Configurações de rede . Encontre a configuração de rede do seu VPC usando o console account. Revise-a para confirmar se todos os campos estão corretos.
2. Clique em workspace e localize o site workspace. Confirme se o site workspace está em execução:

dica

Se o senhor quiser revisar o conjunto de espaços de trabalho usando o API, faça uma solicitação GET para o https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces endpoint.

Etapa 9: Configurar o DNS

Esta seção mostra como criar uma zona DNS privada que inclui a rede clássica compute plane VPC. O senhor deve criar registros DNS que mapeiem o URL workspace para o IP plproxy-psc-endpoint-all-ports Private serviço Connect endpoint:

1. Certifique-se de que o senhor tenha o URL workspace para o seu implantado Databricks workspace. O URL tem um formato semelhante ao https://33333333333333.3.gcp.databricks.com. O senhor pode obter esse URL no navegador da Web quando estiver visualizando um workspace ou no consoleaccount em sua lista de espaços de trabalho.

2. Localize o IP do serviço privado Connect endpoint para o plproxy-psc-endpoint-all-ports serviço privado Connect endpoint. Neste exemplo, o IP do serviço privado Connect endpoint psc-demo-dp-rest-api é 10.10.0.2.

3. Crie os seguintes mapeamentos de registros A:

   • Seu domínio workspace (como 33333333333333.3.gcp.databricks.com) para 10.10.0.2
   • Seu domínio workspace com prefixo dp-, como dp-33333333333333.3.gcp.databricks.com) para 10.10.0.2

4. Na mesma zona de gcp.databricks.com, crie um registro DNS privado para mapear o URL de retransmissão da SCC para o endpoint de retransmissão da SCC ngrok-psc-endpoint usando o IP do endpoint.

   1. O URL de retransmissão do SCC está no formato: tunnel.<workspace-gcp-region>.gcp.databricks.com. Neste exemplo, o URL de retransmissão do SCC é tunnel.us-east4.gcp.databricks.com.
   2. Localize o IP do serviço privado Connect endpoint para o ngrok-psc-endpoint serviço privado Connect endpoint. Neste exemplo, o IP do serviço privado Connect endpoint psc-demo-dp-ngrok é 10.10.0.3.
   3. Crie um registro A para mapear tunnel.us-east4.gcp.databricks.com para 10.10.0.3.

Valide sua configuração de DNS

Em suas redes VPC, verifique as configurações de DNS:

Em sua rede clássica compute planeja VPC, use a ferramenta nslookup para confirmar que os seguintes URLs são resolvidos para o IP correto do Private Serviço Connect endpoint

• <workspace-url> mapeia para o serviço privado Connect endpoint IP para o endpoint com plproxy-psc-endpoint-all-ports em seu nome.
• dp-<workspace-url> mapeia para o serviço privado Connect endpoint IP para o endpoint com plproxy-psc-endpoint-all-ports em seu nome.
• tunnel.<workspace-gcp-region>.gcp.databricks.com mapeia para o serviço privado Connect endpoint IP para o endpoint com ngrok-psc-endpoint em seu nome.

Nome DNS intermediário para o serviço privado Connect

O nome DNS intermediário para o espaço de trabalho que habilita o serviço Private Connect de back-end ou front-end é <workspace-gcp-region>.psc.gcp.databricks.com. Isso permite que o senhor separe o tráfego para o espaço de trabalho que eles devem acessar de outros serviços do Databricks que não oferecem suporte ao Private Service Connect, como o console do account.

Etapa 10 (opcional): configurar o acesso ao metastore

recursos como SQL listas de controle de acesso (ACLs) exigem acesso ao nível legado workspace Hive metastore . Como o plano compute VPC não pode acessar a Internet pública pelo default, o senhor deve criar um NAT de nuvem com acesso ao metastore. Consulte Serviço de plano de controle endpoint Endereços IP por região.

Além disso, você pode configurar um firewall para impedir o tráfego de entrada e saída de todas as outras fontes. Como alternativa, se o senhor não quiser configurar um Cloud NAT para a VPC, outra opção é configurar uma conexão privada com um metastore externo.

Etapa 11 (opcional): Configurar listas de acesso IP

As conexões de front-end para o espaço de trabalho re[PSC] permitem o acesso público por default. Você pode controlar o acesso público criando um objeto de configurações de acesso privado.

Siga estas etapas para gerenciar o acesso público:

1. Decida sobre o acesso público:

• Negar acesso público : Não serão permitidas conexões públicas com o site workspace.
• Permitir acesso público : você pode restringir ainda mais o acesso usando listas de acesso IP.

1. Se você permitir o acesso público, configure as listas de acesso IP:

• Configure listas de acesso IP para controlar quais endereços IP públicos podem acessar o site Databricks workspace.
• As listas de acesso IP afetam somente solicitações de endereços IP públicos pela Internet. Eles não bloqueiam o tráfego privado do serviço privado Connect.

1. Para bloquear todo o acesso à Internet:

• Habilite as listas de acesso IP para seu workspace. Consulte Configurar listas de acesso IP para o espaço de trabalho
• Crie uma regra de lista de acesso IP: BLOCK 0.0.0.0/0.

nota

As listas de acesso IP não afetam as solicitações das redes VPC conectadas por meio do serviço privado Connect. Essas conexões são gerenciadas usando a configuração do nível de acesso do Private Service Connect. Consulte a Etapa 5: criar um objeto de configurações de acesso privado do Databricks.

Etapa 12 (opcional): Configurar VPC Service Controls

Além de usar o Private serviço Connect para se conectar de forma privada ao serviço Databricks, o senhor pode configurar VPC Service Controls para manter seu tráfego privado e reduzir os riscos de exfiltração de dados.

Configurar o acesso privado de back-end do plano compute VPC para o armazenamento em nuvem

O senhor pode configurar o Private Google Access ou o Private Serviço Connect para acessar de forma privada o recurso de armazenamento em nuvem a partir do seu plano compute VPC.

Adicione seus projetos de avião compute a um serviço VPC Service Controls Perimeter

Para cada Databricks workspace, o senhor pode adicionar os seguintes projetos do Google Cloud a um perímetro de serviço VPC Service Controls:

• plano de computação VPC projeto de host
• Projeto que contém o bucket de armazenamento workspace
• projetos de serviços que contêm o compute recurso do workspace

Com essa configuração, você deve conceder acesso aos dois itens a seguir:

• O recurso compute e o balde de armazenamento workspace do plano de controle Databricks
• Databricks-gerenciar as caçambas de armazenamento do plano compute VPC

Regra de entrada

O senhor deve adicionar uma regra de entrada para conceder acesso ao seu VPC Service Controls serviço Perimeter a partir do plano de controle Databricks VPC.

Veja a seguir um exemplo de regra de entrada:

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <regional-control-plane-vpc-host-project-number-1>
        <regional-control-plane-vpc-host-project-number-2>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

Para obter os números de projeto para suas regras de ingresso, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Regra de saída

O senhor deve adicionar uma regra de saída para conceder acesso a Databricks-gerenciar buckets de armazenamento do plano compute VPC. Veja a seguir um exemplo de regra de saída:

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-number-1>
        <regional-control-plane-vpc-host-project-number-2>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

Para obter os números de projeto para suas regras de saída, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Acesse data lake baldes de armazenamento protegidos por VPC Service Controls

O senhor pode adicionar os projetos do Google Cloud que contêm os buckets de armazenamento data lake a um VPC Service Controls serviço Perimeter.

Se os buckets de armazenamento data lake e os projetos Databricks workspace estiverem no mesmo VPC Service Controls serviço Perimeter, o senhor não precisará de nenhuma regra adicional de entrada ou saída.

Se os buckets de armazenamento data lake estiverem em um VPC Service Controls serviço Perimeter separado, o senhor deverá configurar o seguinte:

• Regras de entrada em data lake serviço Perimeter:

  • Permitir o acesso ao Cloud Storage a partir do plano Databricks compute VPC
  • Permita o acesso ao Cloud Storage a partir da VPC do plano de controle do Databricks usando as IDs de projeto documentadas na página de regiões. Esse acesso será necessário à medida que o site Databricks introduzir novos recursos de governança de dados, como o Unity Catalog.

• Regras de saída em Databricks compute plane serviço Perimeter:

  • Permitir a saída para o Cloud Storage em projetos de data lake