Pular para o conteúdo principal
Última atualização em

Configure o Private Service Connect de entrada para Workspace

Esta página aborda os passos de configuração para a conectividade privada de entrada entre os usuários e seus Workspace do Databricks. A conectividade privada de entrada roteia o tráfego do usuário para o aplicativo web da Databricks e para as APIs REST por meio de um endpoint privado em vez da internet pública.

Estabeleça conexões seguras e privadas das suas VPCs do Google Cloud ou redes on-premises para serviços do Databricks usando Private Service Connect de entrada, que roteia o tráfego por meio de um endpoint do Private Service Connect em vez da Internet pública.

Um endpoint de entrada se origina em seu VPC de trânsito, geralmente servindo como a fonte para acesso de usuários ao aplicativo da Web. Se você usar classic compute, isso pode ser uma VPC separada da VPC do plano de compute do Workspace, e pode ser conectada a uma rede on-premises.

Com Private Service Connect de entrada para Workspace:

  • Configurar acesso privado: configure conexões de entrada Private Service Connect ao aplicativo Web Databricks, API REST e API Databricks Connect.
  • Aplicar conectividade privada: Configure a conectividade privada de usuários para a Databricks.
  • Controlar o acesso privado com entrada baseada em contexto (Beta): permitir ou negar acesso de Endpoint registrados específicos, combinados com condições de identidade e tipo de solicitação. Consulte Configurar política de acesso privado.

Requisitos e limitações​

  • Sua account Databricks está no plano Enterprise.

  • Você deve ter todas as permissões necessárias do Google Cloud para criar sub-redes e Endpoint do Private Service Connect em seu VPC de trânsito.

  • Quotas: o limite de Endpoint é por projeto de host, não por VPC. Você pode configurar até dez Endpoint do Private serviço Connect de cada tipo por região, por projeto de host. O Private Service Connect de entrada usa o endpoint de acesso geral; o Private Service Connect do plano de compute clássico adiciona um endpoint de retransmissão de conectividade de cluster segura (SCC), que tem seu próprio limite de dez. Vários Workspace Databricks na mesma VPC e região compartilham esses Endpoint porque os Endpoint do Private serviço Connect são recursos específicos da região. Se esta cota representar uma limitação para sua configuração, entre em contato com sua equipe de account.

  • Sem conectividade entre regiões: os componentes do workspace do Private Service Connect devem estar na mesma região, incluindo:

    • Rede e sub-redes de VPC de trânsito.
    • plano de computação VPC rede e sub-redes.
    • Databricks workspace.
    • Serviço privado Connect endpoint.
    • Serviço privado Conecte endpoint sub-redes.

    Se você adicionar um endpoint de Acesso Geral a uma lista de permissões com uma política de acesso privado de entrada baseada em contexto, o endpoint e sua VPC de trânsito não precisam estar na mesma região que o workspace. Um Endpoint de Acesso Geral em qualquer região pode servir Workspace em qualquer região. Consulte Configurar política de acesso privado.

Várias opções para topologia de rede​

Ao implantar um Databricks workspace privado, o senhor deve escolher uma das seguintes opções de configuração de rede:

  • Hospede usuários (clientes) do Databricks e o plano de compute clássico do Databricks na mesma rede : nesta opção, a VPC de trânsito e a VPC do plano de compute referem-se à mesma rede VPC subjacente. Se você escolher essa topologia, todo acesso a qualquer workspace do Databricks a partir dessa VPC deverá passar pela conexão de entrada do Private serviço Connect para essa VPC. Consulte Requisitos e limitações.
  • Hospede usuários do Databricks (clientes) e o plano de compute clássico do Databricks em redes separadas : nesta opção, o usuário ou cliente do aplicativo pode acessar diferentes workspaces do Databricks usando caminhos de rede diferentes. Opcionalmente, permita que um usuário na VPC de trânsito acesse um workspace privado por meio de uma conexão Private Service Connect e também permita que usuários na internet pública acessem o workspace.

Não é possível misturar espaços de trabalho que utilizam o serviço Connect privado de entrada com espaços que não o utilizam, dentro da mesma VPC de trânsito. Embora seja possível compartilhar uma VPC de trânsito entre vários espaços de trabalho, todos os espaços de trabalho na VPC de trânsito devem ser do mesmo tipo, ou seja, todos usando o serviço Connect privado de entrada, ou nenhum usando. Essa exigência se deve às especificidades da resolução de DNS na nuvem do Google.

Referência de anexos de serviços regionais​

Para ativar o Private Service Connect de entrada, você precisa do URI do anexo de serviço para o endpoint de acesso geral para sua região. O URI termina com o sufixo plproxy-psc-endpoint-all-ports. Este endpoint tem uma função dupla. Ele é usado pelo Private serviço Connect de entrada para conectar sua VPC de trânsito ao aplicativo web do Workspace e às APIs REST, e também é usado pelo Private serviço Connect do plano de compute clássico para se conectar ao plano de controle para APIs REST.

Para encontrar o URI do anexo de serviço da sua região, use o valor Acesso Geral em URIs de anexo e números de projeto do Private Service Connect (PSC).

Configurar o Private Service Connect de entrada​

Criar uma sub-rede​

Na rede VPC de trânsito, crie uma sub-rede especificamente para o Endpoint de entrada do Private serviço Connect. Esta é a rede de onde seus clientes Databricks se originam. Crie primeiro uma rede VPC de trânsito, caso ainda não tenha uma. As instruções a seguir pressupõem que você esteja usando o console do Google Cloud, mas você também pode usar a CLI gcloud para realizar tarefas semelhantes.

Para criar uma sub-rede:

  1. No console do Google Cloud, acesse a página da lista de VPC.

  2. Clique em Adicionar sub-rede .

  3. Defina o nome, a descrição e a região.

  4. Se o campo Finalidade estiver visível (pode não estar), escolha Nenhum .

  5. Defina um intervalo de IP privado para a sub-rede, como 10.0.0.0/28. Você deve alocar endereços IP suficientes para hospedar seu endpoint do Private Service Connect.

importante

Verifique se seus usuários têm acesso a VMs ou recursos de compute nesta sub-rede.

  1. Confirme se a sua sub-rede foi adicionada ao VPC view no console do Google Cloud para o seu VPC:

    Liste todas as sub-redes.

Crie um endpoint de VPC​

dica

For workspace private access with context-based ingress, you can reuse a General Access VPC endpoint that you already created for another workspace. The region of this endpoint does not have to match the region of your workspace. A General Access endpoint in any region can serve workspaces in any region.

Crie um endpoint de VPC de acesso geral da sub-rede da VPC de trânsito que você criou para o anexo de serviço plproxy-psc-endpoint-all-ports. Ao nomear o endpoint, a Databricks recomenda incluir general-access, como databricks-general-access-psc.

Para obter o nome completo do anexo de serviço para sua região, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Registrar VPC endpoints​

Depois de criar seu Endpoint VPC no console do Google Cloud, faça o registro dele no Databricks. Você também pode usar a API de Configurações de Endpoint de VPC.

  1. Acesse o consoleDatabricks account.
  2. Clique em Segurança na barra lateral.
  3. Clique em Endpoint privados .
  4. Clique em Registrar um endpoint privado .
  5. Para cada um dos seus endpoints do Private Service Connect, preencha os campos necessários para registrar um novo VPC endpoint:
    • VPC endpoint name : Um nome legível para identificar o VPC endpoint. Databricks recomenda o uso do mesmo nome do seu serviço privado Connect endpoint ID, mas não é necessário que eles correspondam.
    • Região : A região do Google Cloud onde esse serviço privado Connect endpoint está definido.
    • ID do projeto de rede VPC do Google Cloud : A ID do projeto do Google Cloud em que esse endpoint está definido. Esse é o ID do projeto da VPC de onde se originam as conexões do usuário, que às vezes é chamada de VPC de trânsito.
    • ID de endpoint do Google Cloud Private Service Connect (PSC) : O ID do endpoint PSC que você criou no Google Cloud.

A tabela a seguir mostra as informações que o senhor precisa para o endpoint.

Field

Example

VPC endpoint name

psc-demo-user-cp

Region

us-east4

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Private Service Connect (PSC) endpoint ID

psc-demo-user-cp

Field

Example

VPC endpoint name

psc-demo-user-cp

Region

us-east4

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Private Service Connect (PSC) endpoint ID

psc-demo-user-cp

Quando terminar, use a lista Endpoints privados no console da account para revisar a lista de endpoints e confirmar as informações.

Configurar política de acesso privado​

Depois do registro de seu Endpoint VPC de Acesso Geral, há duas maneiras de configurar uma política de acesso privado para seu Workspace: com entrada baseada em contexto ou com configurações de acesso privado. O uso da abordagem de entrada baseada em contexto permite configurar o acesso refinado combinando condições de identidade, tipo de solicitação e origem da rede. As políticas de acesso privado de entrada baseadas em contexto também não são vinculadas a regiões: você pode adicionar à lista de permitidos um endpoint em qualquer região para atender a um workspace em uma região diferente. Consulte o Controle de entrada baseado em contexto. As configurações de acesso privado são políticas de tudo ou nada, vinculadas à região.

Para que o tráfego seja permitido, tanto as configurações de acesso privado quanto a entrada baseada em contexto devem permitir o endpoint. Por default, a entrada baseada em contexto é definida como Permitir acesso de todos os endpoints privados , o que adia a decisão de acesso para as configurações de acesso privado do Workspace. Para usar políticas de acesso privado baseadas em contexto, anexe um objeto de configurações de acesso privado que permita todos os Endpoint privados registrados (consulte o último passo do Método 1). Isso adia a decisão de acesso para a política de entrada baseada em contexto do seu workspace.

nota

To configure private access to workspaces using context-based ingress, an account admin must turn on Context-Based Ingress: Workspace Private Access Policies from the account console Previews page. See Manage account-level previews.

  1. No console account , clique em Segurança na barra lateral.

  2. Clique em **Entrada baseada em contexto e controle de saída** na barra lateral.

  3. Em **Políticas de nível de workspace**, clique em **Nova política de workspace**.

  4. Em entrada > acesso à rede privada , defina sua política de acesso privado.

    1. Por default, todos os Endpoint registrados são permitidos: Permitir acesso de todos os Endpoint privados . Se isso for aceitável, continue para o próximo passo. Esse default inclui apenas os primeiros 200 VPC Endpoint registrados. Se sua policy exigir mais, entre em contato com sua equipe de account para obter um aumento.
    2. Para permitir Endpoint registrados específicos enquanto nega todos os outros Endpoint, desmarque Permitir acesso de todos os Endpoint privados e adicione uma regra de permissão.
      1. Selecione as identidades e destinos de workspace para os quais você deseja permitir o acesso. Por default, todas as identidades e destinos são permitidos.
      2. Para Tipo de origem , selecione Endpoint privados selecionados e selecione os Endpoint da VPC de Acesso Geral que você registrou. A região desses Endpoint não precisa corresponder à região de seu Workspace.
      3. Clique em Confirmar .
      4. Opcionalmente, adicione Regras de bloqueio à sua política para definir exceções às suas regras de permissão.

  5. Configure sua política de acesso público em Ingresso > Acesso à rede pública . Para desativar todo o acesso IP público, desmarque Permitir acesso de todos os IPs públicos . A Databricks recomenda manter o acesso público habilitado enquanto testa sua configuração de DNS e desativá-lo depois que o DNS for finalizado para impor a conectividade privada exclusiva.

  6. Teste sua política de entrada no Modo de execução de teste antes de alterá-la para Aplicado . As negações de acesso no modo de execução de teste são registradas na tabela do sistema system.access.inbound_network, mas não bloqueiam o acesso.

  7. Certifique-se de que sua política de saída esteja correta.

  8. Anexe sua política de rede aos seus Workspace.

  9. Salve sua política de rede. As atualizações da política de entrada baseada em contexto normalmente entram em vigor em menos de 10 minutos.

  10. Anexe um objeto de configurações de acesso privado "permitir todo o acesso" ao seu workspace. Workspace sem um objeto de configurações de acesso privado anexado têm todo acesso privado negado, independentemente da política de rede.

    1. No console account , clique em Segurança na barra lateral.
    2. Clique em Configurações de acesso privado .
    3. Clique em Adicionar configurações de acesso privado .
    4. Digite um nome para seu novo objeto de configurações de acesso privado.
    5. Selecione a mesma região do site workspace.
    6. Defina Acesso público ativado como True . Use sua política de entrada baseada em contexto para restringir o acesso público.
    7. Defina Nível de acesso privado para account .
    8. Clique em Adicionar configurações de acesso privado .
    9. No console da account, clique em Workspaces e, em seguida, clique em seu workspace.
    10. Clique em Configurações avançadas .
    11. No campo Conectividade privada , escolha o objeto de configurações de acesso privado que você criou.
    12. Clique em Salvar .
dica

If multiple workspaces share the same ingress and egress policies, they can share the same network policy, so you can define it one time and attach it anywhere.

dica

You can reuse the same "allow all access" private access settings object across any workspace in the same region.

Configurar DNS​

Configure uma zona privada do cloud DNS em sua VPC de trânsito que resolva a URL do Workspace, a URL do plano de dados e a URL de autenticação do navegador para o IP privado do seu Endpoint de entrada do Private serviço Connect.

Para instruções detalhadas, incluindo a configuração da zona do Cloud DNS, registros A, verificação com nslookup e uma prática recomendada para resolução de DNS consistente em todo o Private Service Connect do plano de compute clássico, consulte Configurar DNS para o Private Service Connect de entrada do Google Cloud.

importante

A transit VPC can contain only workspaces that use inbound Private Service Connect or only workspaces that do not. Google Cloud DNS resolution does not support mixing both types in a single transit VPC.

Configure o VPC Service Controls (opcional)​

Melhore sua conectividade privada com Databricks implementando VPC Service Controls o serviço Privado Connect, que oferece uma camada adicional de segurança para manter o tráfego privado. Essa abordagem combinada mitiga de forma eficaz os riscos de exfiltração de dados, isolando seu recurso do Google Cloud e controlando o acesso às suas redes VPC.

Configure o acesso privado clássico do plano compute VPC do plano compute para o armazenamento em nuvem.​

Configure o Acesso Privado ao Google ou o serviço Privado para acessar de forma privada o recurso de armazenamento em nuvem a partir do seu plano compute VPC.

Adicione seus projetos de avião compute a um serviço VPC Service Controls Perimeter​

Para cada Databricks workspace, adicione os seguintes projetos do Google Cloud a um perímetro de serviço VPC Service Controls:

  • plano de computação VPC projeto de host
  • Projeto que contém o bucket de armazenamento workspace
  • projetos de serviços que contêm o compute recurso do workspace

Com essa configuração, você deve conceder acesso aos dois itens a seguir:

  • O recurso compute e o balde de armazenamento workspace do plano de controle Databricks
  • Databricks-gerenciar as caçambas de armazenamento do plano compute VPC

Conceda o acesso acima com as seguintes regras de entrada e saída no perímetro do serviço VPC Service Controls acima.

Para obter os números de projeto para essas regras de entrada e saída, consulte Endereços IP e domínios para Databricks serviço e ativo.

Regra de entrada​

O senhor deve adicionar uma regra de entrada para conceder acesso ao seu VPC Service Controls serviço Perimeter a partir do plano de controle Databricks VPC. Veja a seguir um exemplo de regra de entrada:

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <us-central1-control-plane-vpc-host-project-numbers> # Only required for workspace creation
        <regional-control-plane-vpc-host-project-numbers>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

Para obter os números de projeto para suas regras de ingresso, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Regra de saída​

O senhor deve adicionar uma regra de saída para conceder acesso a Databricks-gerenciar buckets de armazenamento do plano compute VPC. Veja a seguir um exemplo de regra de saída:

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-numbers>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

Para obter os números de projeto para suas regras de saída, consulte URIs de anexo e números de projeto do Private Service Connect (PSC).

Acesse data lake baldes de armazenamento protegidos por VPC Service Controls​

Adicione os projetos do Google Cloud que contêm os buckets de armazenamento do data lake a um perímetro de serviço do VPC Service Controls.

O senhor não precisará de nenhuma regra adicional de entrada ou saída se os buckets de armazenamento data lake e os projetos Databricks workspace estiverem no mesmo perímetro de serviço VPC Service Controls.

Se os buckets de armazenamento data lake estiverem em um VPC Service Controls serviço Perimeter separado, o senhor deverá configurar o seguinte:

  • Regras de entrada em data lake serviço Perimeter:

    • Permitir o acesso ao Cloud Storage a partir do plano Databricks compute VPC
    • Permita o acesso ao Cloud Storage a partir do VPC do plano de controle do Databricks utilizando os IDs do projeto documentados na página de regiões. Este acesso é necessário, pois Databricks introduz novos recursos de governança de dados, como Unity Catalog.

  • Regras de saída em Databricks compute plane serviço Perimeter:

    • Permitir a saída para o Cloud Storage em projetos de data lake

Recursos adicionais​

Nesta página