Pular para o conteúdo principal
Última atualização em

Configurar Inbound PrivateLink

Esta página aborda os passos de configuração para conectividade privada de entrada entre usuários e seus espaços de trabalho Databricks . Para aumentar a segurança da implementação serverless do seu workspace, você deve usar conectividade privada no front-end.

Estabeleça conexões seguras e privadas de suas VPCs AWS ou redes on-premises para o serviço Databricks usando o PrivateLink de entrada, que roteia o tráfego por meio de um endpoint de interface VPC em vez da internet pública.

Um endpoint de entrada se origina da sua VPC de trânsito, normalmente servindo como fonte de acesso do usuário ao aplicativo web. Geralmente, trata-se de uma VPC separada da VPC do plano compute do workspace e pode ser conectada a uma rede on-premises . Se você possui várias contas Databricks , compartilhe um endpoint VPC de entrada entre essas contas registrando o endpoint em cada account relevante Databricks .

Com PrivateLink de entrada:

  • Configurar acesso privado : Configure conexões PrivateLink de entrada para o aplicativo web Databricks, a API REST e a API Databricks Connect.
  • Habilitar acesso privado : configure o PrivateLink ao criar um novo workspace ou em um existente.
  • Impor conectividade privada : Configure a conectividade privada dos usuários ao Databricks.

Conectividade privada de entrada

Requisitos​

  • Sua account Databricks está no plano Enterprise.
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Para estabelecer uma conexão PrivateLink de entrada para acessar o workspace a partir da sua rede on-premises , conecte sua rede on-premises a uma VPC AWS usando o Direct Connect ou uma VPN.
  • Permita que o tráfego de rede de todos os espaços de endereço relevantes dentro da sua rede local se conecte ao seu endpoint VPC usando a porta TCP 443.

Etapa 1: Criar o endpoint VPC​

Para criar um endpoint VPC de entrada no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.
  2. No canto superior direito, defina a região como a mesma região da VPC de trânsito.
  3. Clique em Criar ponto de extremidade .
  4. Ao nomear o endpoint, Databricks recomenda incluir a região e workspace ou front-end, como databricks-us-west-2-workspace-vpce.
  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .
  6. No campo nome do serviço, cole o nome do serviço. Use a tabela no PrivateLink VPC endpoint serviço para encontrar os nomes dos serviços regionais. Copie o espaço de trabalho de um rótulo (incluindo REST API ).
  7. Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que diz "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e novo endpoint VPC correspondem corretamente.
  8. Em VPC , selecione sua VPC de trânsito.
  9. Em Sub-redes , selecione uma sub-rede.
  10. Na seção Grupos de segurança , selecione um grupo de segurança que permita o tráfego de entrada na porta 443 a partir dos intervalos de IP que precisam acessar o workspace.
  11. Clique em Criar terminal .

Etapa 2: registro VPC endpoint​

Depois de criar seu endpoint VPC no AWS Management Console, registre-o no Databricks. Não é possível atualizar uma configuração de rede depois que ela foi criada. Siga estes passos para registrar seu endpoint VPC :

  1. Acesse o console account Databricks .

  2. Clique em Cloud recurso na barra lateral.

  3. Selecione Rede .

  4. Clique em registros de endpoint VPC na navegação vertical.

  5. Clique em Registrar um VPC endpoint .

  6. Digite um nome descritivo para o registro do seu endpoint VPC.

    • É recomendada uma convenção de nomenclatura que inclua a região e a finalidade, como VPCE us-west-2 for REST.

  7. Selecione a região apropriada. A região deve corresponder à sua região workspace e à região do endpoint AWS VPC que você está registrando.

  8. Cole o AWS VPC endpoint ID no campo AWS VPC endpoint ID .

    registro VPC endpoint.

  9. Clique em Registrar novo VPC endpoint .

Se o senhor tiver vários espaços de trabalho que compartilham o mesmo cliente-gerenciar VPC, poderá compartilhar o endpoint AWS VPC entre eles. Para várias contas Databricks, registre o AWS VPC endpoint em cada account.

Etapa 3: criar configurações de acesso privado​

As configurações de acesso privado descrevem a conectividade PrivateLink do seu workspace e são necessárias para habilitar a conectividade privada. Para usar o PrivateLink, você deve anexar um objeto de configurações de acesso privado ao criar seu workspace. Siga estes passos para criar suas configurações de acesso privado:

  1. No console account , clique em Segurança na barra lateral.

  2. Clique em Configurações de acesso privado na barra lateral.

  3. Clique em Adicionar configurações de acesso privado .

    Objeto de configurações de acesso privado.

  4. Digite um nome para seu novo objeto de configurações de acesso privado.

  5. Selecione uma região que corresponda à sua região workspace.

  6. Configure o campo Acesso público ativado :

    • Falso (default) : A conexão de entrada é acessível exclusivamente através do PrivateLink, bloqueando o acesso à internet pública.
    • Verdadeiro : A conexão de entrada é acessível tanto pelo PrivateLink quanto pela internet pública.
dica

A Databricks recomenda começar com "Verdadeiro" ao testar sua configuração de DNS. Após a configuração final do DNS e a confirmação de seu funcionamento, altere para "Falso" durante uma janela de manutenção para garantir conectividade privada exclusiva. Observe que o objeto de configurações de acesso privado não pode ser modificado após a criação, portanto, você precisará criar um novo objeto PAS e atualizar a configuração do seu workspace .

  1. Selecione um nível de acesso privado :

    • conta : Limite as conexões ao endpoint VPC registrado em sua conta Databricks account.
    • endpoint : Limitar conexões a um conjunto explícito de endpoints VPC . Inclua o registro do seu endpoint VPC de entrada.

  2. Clique em Adicionar configurações de acesso privado .

Para concluir esta etapa, o site workspace já deve estar usando um gerenciador de clientes VPC e conectividade segura de clustering.

  1. Consulte Criar um workspaceclássico para criar um workspace. Consulte essa página para obter orientações sobre campos workspace como URL workspace , região, Unity Catalog, configurações de credenciais e configurações de armazenamento. Não clique no botão Salvar ainda.

  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.

  3. No PrivateLink dropdown, selecione o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.

  4. Clique em Salvar .

  5. Após criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de utilizar ou criar o clustering.

    O status workspace permanece RUNNING e a alteração VPC acontece imediatamente. Entretanto, você não poderá usar ou criar clusters por mais 20 minutos. Se você criar ou usar clusters antes do término desse intervalo, os clusters poderão falhar ao iniciar ou causar outro comportamento inesperado.

Após criar seu endpoint de entrada na VPC, configure o DNS para rotear as solicitações do usuário através da sua rede privada para o endereço IP privado do endpoint da VPC.

Para obter instruções completas de configuração de DNS, incluindo configuração do Route 53, padrões de encaminhamento condicional e orientações para solução de problemas, consulte Configurar DNS para AWS Inbound PrivateLink.

Verificação rápida​

Após configurar o DNS, verifique se o URL do seu workspace resolve para um endereço IP privado:

Bash
nslookup myworkspace.cloud.databricks.com

Resultado esperado mostrando a resolução através do subdomínio privatelink :

myworkspace.cloud.databricks.com    canonical name = sydney.privatelink.cloud.databricks.com
Name:    sydney.privatelink.cloud.databricks.com
Address: 10.176.10.182

O URL workspace deve ser resolvido para o endereço IP privado do seu endpoint VPC de entrada, e não para um endereço IP público.

info

Visualização

O login unificado com PrivateLink de entrada está em versão prévia privada. Você precisa entrar em contato com a equipe da sua account Databricks para solicitar acesso a esta prévia. Para obter mais informações sobre login unificado, consulte Ativar login unificado.

Se seus usuários tiverem acesso à Internet pública, essa etapa não será necessária.

Quando um usuário faz login em um workspace onde o login unificado está habilitado, o sistema o redireciona para accounts.cloud.databricks.com no fluxo de autenticação. Para usar o login unificado em um workspace onde o PrivateLink de entrada está habilitado e o usuário não tem acesso à internet pública, siga estes passos para configurar seu provedor de identidade e DNS interno.

  1. Como administrador da conta, faça login no console da conta.
  2. Na barra lateral, clique em Configurações .
  3. Clique em Authentication (Autenticação ) tab.
  4. Ao lado de Authentication (Autenticação ), clique em gerenciar .
  5. Escolha Login único com meu provedor de identidade .
  6. Clique em "Continuar" .
  7. Copie o valor no campo Databricks Redirect URL .
  8. Substitua accounts por accounts-pl-auth para obter o URI de redirecionamento do Databricks PrivateLink.
  9. Acesse seu provedor de identidade.
  10. Adicione o URI de redirecionamento do Databricks PrivateLink como um URL de redirecionamento adicional. Se o senhor configurar o SSO usando SAML, adicione também o URI de redirecionamento do Databricks PrivateLink como um ID de entidade adicional.

Se você tiver uma área de trabalho PrivateLink e uma área de trabalho não PrivateLink no seu account, não remova o URL de redirecionamentoDatabricks com account dos URLs de redirecionamento do seu provedor de identidade.

Configure uma zona hospedada privada para sua VPC de trânsito​

Execute a seguinte configuração na sua VPC de trânsito para verificar se o URI de redirecionamento Databricks PrivateLink mapeia para o endereço IP privado endpoint VPC para o endpoint VPC do seu workspace .

  1. A partir da sua VPC de trânsito, use a ferramenta de linha de comando Unix nslookup para obter a resolução de DNS usando o URL do seu workspace . Veja o exemplo na etapa 5: Configurar DNS para PrivateLink de entrada.
  2. Copie o URL da instância do plano de controle do seu PrivateLink workspace. A URL da instância do plano de controle está no formato <region>.privatelink.cloud.databricks.com.
  3. Na sua VPC de trânsito, crie uma zona hospedada privada com o nome de domínio privatelink.cloud.databricks.com.
  4. Adicione um registro CNAME que resolva accounts-pl-auth.privatelink.cloud.databricks.com ao URL da instância do seu plano de controle.
  5. Teste a configuração acessando o URI de redirecionamento do Databricks PrivateLink a partir de sua VPC de trânsito.

Próximos passos​