Pular para o conteúdo principal

Configurar a conectividade privada com os Databricks

Esta página aborda as etapas de configuração da conectividade privada de front-end entre os usuários e seu espaço de trabalho Databricks. Para adicionar mais segurança à implementação do workspace serverless , o senhor deve ter conectividade privada de front-end.

Estabeleça conexões seguras e privadas de suas AWS VPCs ou redes locais para Databricks serviço usando o PrivateLink front-end, que roteia o tráfego por meio de uma interface VPC endpoint em vez da Internet pública.

Com o front-end PrivateLink, você pode:

  • Configurar o acesso privado : O senhor pode configurar conexões PrivateLink de front-end para o aplicativo da Web Databricks, a API REST e a API Databricks Connect.
  • Habilite facilmente o acesso privado : O senhor pode configurar o PrivateLink durante a criação de um novo workspace ou ativá-lo em um já existente.
  • Impor a conectividade privada obrigatória : O senhor deve configurar a conectividade privada dos usuários para Databricks e do plano de controle para o plano compute a fim de impor a conectividade privada para um workspace.

Requisitos​

  • Sua conta do Databricks está no nível de preço Enterprise.
  • Seu Databricks workspace deve usar um gerenciador de clientes VPC. O senhor não pode converter um workspace existente de um Databricks-gerenciar VPC para um cliente-gerenciar VPC.Consulte Configurar um cliente-gerenciar VPC.
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Para estabelecer uma conexão PrivateLink front-end para acessar o workspace a partir de sua rede local, o senhor deve conectar sua rede local a um AWS VPC usando Direct Connect ou VPN.
  • O senhor deve permitir que o tráfego de rede de todos os espaços de endereço relevantes em sua rede local se conecte ao seu endpoint VPC usando a porta TCP 443.

Etapa 1: Criar o endpoint VPC​

Um endpoint de front-end origina-se da sua VPC de trânsito, normalmente servindo como a fonte de acesso do usuário a aplicativos da Web. Normalmente, trata-se de um separado VPC do workspace compute plano do VPC e pode ser conectado a uma rede local. Se o senhor tiver várias contas Databricks, poderá compartilhar um front-end VPC endpoint entre essas contas. registre o endpoint em cada Databricks account relevante.

Para criar o endpoint VPC front-end no console de gerenciamento AWS:

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.
  2. No canto superior direito, defina a região como a mesma região da VPC de trânsito.
  3. Clique em Criar ponto de extremidade .
  4. Ao nomear o endpoint, sugerimos que o senhor inclua a região e a palavra workspace ou frontend, como databricks-us-west-2-workspace-vpce.
  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .
  6. No campo nome do serviço, cole o nome do serviço. Use a tabela no PrivateLink VPC endpoint serviço para encontrar os nomes dos serviços regionais. Copie o espaço de trabalho de um rótulo (incluindo REST API ).
  7. Clique em Verificar serviço e verifique se a página exibe o nome do serviço verificado em uma caixa verde. Se o senhor encontrar um erro que diz "Service name could not be verified" (O nome do serviço não pôde ser verificado), verifique se as regiões da VPC, as sub-redes e o novo endpoint da VPC correspondem corretamente.
  8. Em VPC , selecione sua VPC de trânsito.
  9. Em Sub-redes , selecione uma sub-rede.
  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões front-end.
  11. Clique em Criar terminal .

Etapa 2: registro VPC endpoint​

Depois de criar o ponto de extremidade VPC no Management Console AWS, registre-o com Databricks para estabelecer registros VPC endpoint . Você não pode atualizar uma configuração de rede após sua criação. Siga estas etapas para registrar seu endpoint VPC:

  1. Navegue até o console Databricks account .

  2. Clique em Cloud recurso na barra lateral.

  3. Selecione Rede .

  4. Clique em registros de endpoint VPC na navegação vertical.

  5. Clique em Registrar um VPC endpoint .

  6. Digite um nome descritivo para o registro do seu endpoint VPC.

    • Use uma convenção de nomenclatura que inclua a região e o propósito, como VPCE us-west-2 for SCC.

  7. Selecione a região apropriada. A região deve corresponder tanto à sua região workspace quanto à região do endpoint AWS VPC que o senhor está registrando.

  8. Cole o AWS VPC endpoint ID no campo AWS VPC endpoint ID .

    registro VPC endpoint.

  9. Clique em registrar new VPC endpoint

Se o senhor tiver vários espaços de trabalho que compartilham o mesmo cliente-gerenciar VPC, poderá compartilhar o endpoint AWS VPC entre eles. Para várias contas Databricks, registre o AWS VPC endpoint em cada account.

Etapa 3: criar configurações de acesso privado​

As configurações de acesso privado descrevem a conectividade do PrivateLink do seu workspace e são necessárias para ativar a conectividade privada. Para usar o PrivateLink, o senhor deve anexar um objeto de configurações de acesso privado ao criar o site workspace. O senhor não pode adicioná-lo a um site existente workspace. Siga estas etapas para criar suas configurações de acesso privado:

  1. No console account, clique em Cloud recurso na barra lateral.

  2. Selecione Rede .

  3. Clique em Configurações de acesso privado na barra lateral.

  4. Clique em Adicionar configurações de acesso privado .

    Objeto de configurações de acesso privado.

  5. Digite um nome para seu novo objeto de configurações de acesso privado.

  6. Selecione uma região que corresponda à sua região workspace.

  7. Configure o campo Acesso público ativado :

    • False (default ): A conexão front-end é acessível exclusivamente por meio do PrivateLink, bloqueando o acesso público à Internet.
    • Verdadeiro : a conexão front-end pode ser acessada tanto pelo PrivateLink quanto pela Internet pública.

  8. Selecione um nível de acesso privado :

    • conta : Limite as conexões ao endpoint VPC registrado em sua conta Databricks account.
    • endpoint : Limitar as conexões a um conjunto explícito de VPC endpoint. Inclua seu registro de endpoint VPC front-end.

  9. Clique em Adicionar configuração de acesso privado .

Para concluir esta etapa, o site workspace já deve estar usando um gerenciador de clientes VPC e conectividade segura de clustering.

  1. Consulte Manually create a workspace (conta Databricks existente) para criar uma workspace. Consulte esse artigo para obter orientação sobre os campos workspace, como workspace URL, região, Unity Catalog, configurações de credenciais e configurações de armazenamento. Não clique no botão Salvar ainda.

  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.

  3. No link privado dropdown, escolha o nome do objeto de configurações de acesso privado que o senhor criou.

  4. Clique em Salvar .

  5. Depois de criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de usar ou criar o clustering.

    O status workspace permanece no status RUNNING e a alteração VPC ocorre imediatamente. No entanto, o senhor não pode usar ou criar clustering por mais 20 minutos. Se o senhor criar ou usar o clustering antes do término desse intervalo de tempo, o clustering não será iniciado com êxito, falhará ou poderá causar outro comportamento inesperado.

Etapa 5: Configurar o DNS interno para redirecionar as solicitações do usuário para o aplicativo web​

Para encaminhar as solicitações do usuário para sua conexão front-end do PrivateLink, você deve atualizar suas configurações de DNS privado. Esse processo garante que o URL workspace seja resolvido para o IP privado do seu VPC endpoint.

Configurar o mapeamento de DNS​

  1. Verifique se o site workspace inclui o PrivateLink.

  2. Configure seu DNS interno para mapear o URL workspace para seu front-end VPC endpoint IP privado.

  3. Teste a resolução de DNS usando o comando nslookup:

    Bash
    nslookup my-workspace-name-here.cloud.databricks.com

Resposta de exemplo:

Non-authoritative answer:
my-workspace-name-here.cloud.databricks.com     canonical name = oregon.cloud.databricks.com.
oregon.cloud.databricks.com     canonical name = a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com.
Name:   a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com
Address: 44.234.192.47F

Exemplos de mapeamento de DNS​

Para um workspace com um front-end VPC endpoint em AWS região us-east-1:

mapeamento de DNS padrão:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com. Nesse caso, nvirginia é o nome abreviado da instância do plano de controle nessa região.
  • nvirginia.privatelink.cloud.databricks.com mapeia para nvirginia.cloud.databricks.com.
  • nvirginia.cloud.databricks.com mapeia para os IPs públicos do AWS.

Mapeamento de DNS necessário após suas alterações:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com.
  • nvirginia.privatelink.cloud.databricks.com mapeia para o IP privado de seu endpoint VPC para conectividade de front-end.

Opções de configuração​

Para mapear o URL workspace para o IP privado VPC endpoint de sua rede local, escolha uma destas opções:

  1. Configure o encaminhamento condicional para que o URL workspace use o AmazonDNS.
  2. Crie um registro A para o URL workspace em seu DNS local que mapeie para o IP privado VPC endpoint .
  3. Crie um mapeamento direto em que myworkspace.cloud.databricks.com aponte diretamente para o IP privado do endpoint da VPC.

Registros DNS necessários​

Crie os seguintes registros em seu servidor DNS para permitir o acesso a todos os serviços:

Tipo de registro

Nome do registro

Valor

A

<deployment-name>.cloud.databricks.com

IP da interface PrivateLink

CNAME

dbc-dp-<workspace-id>.cloud.databricks.com

<deployment-name>.cloud.databricks.com

Verificação​

Depois de atualizar sua configuração de DNS:

  1. Teste a configuração acessando o aplicativo da Web Databricks workspace a partir do seu sistema de trânsito VPC.
  2. Teste a conectividade da API REST.
  3. Crie um endpoint de VPC na VPC de trânsito, se necessário, para testes.

Se você encontrar erros, verifique se todos os registros DNS necessários foram configurados corretamente.

info

Visualização

O login unificado com o front-end PrivateLink está na versão prévia privada. O senhor deve entrar em contato com a equipe do Databricks account para solicitar acesso a essa visualização. Para obter mais informações sobre login unificado, consulte Ativar login unificado.

Se seus usuários tiverem acesso à Internet pública, essa etapa não será necessária.

Quando um usuário faz login em um site workspace em que o login unificado está ativado, ele é redirecionado para accounts.cloud.databricks.com no fluxo de autenticação. Para usar o login unificado com um workspace em que o PrivateLink de front-end está ativado e o usuário não tem acesso à Internet pública, é necessário seguir estas etapas para configurar o provedor de identidade e o DNS interno.

  1. Como administrador da conta, faça login no console da conta.
  2. Na barra lateral, clique em Configurações .
  3. Clique em Authentication (Autenticação ) tab.
  4. Ao lado de Authentication (Autenticação ), clique em gerenciar .
  5. Escolha Login único com meu provedor de identidade .
  6. Clique em "Continuar" .
  7. Copie o valor no campo Databricks Redirect URL .
  8. Substitua accounts por accounts-pl-auth para obter o URI de redirecionamento do Databricks PrivateLink.
  9. Acesse seu provedor de identidade.
  10. Adicione o URI de redirecionamento do Databricks PrivateLink como um URL de redirecionamento adicional. Se o senhor configurar o SSO usando SAML, adicione também o URI de redirecionamento do Databricks PrivateLink como um ID de entidade adicional.

Se o senhor tiver um espaço de trabalho de link privado e de link não privado no seu account, não remova o URL de redirecionamentoDatabricks com account dos URLs de redirecionamento do provedor de identidade.

Configure uma zona hospedada privada para sua VPC de trânsito​

Faça a seguinte configuração em seu trânsito VPC para garantir que o DatabricksPrivateLink Redirect URI mapeie para o endereço IP privado VPC endpoint do seu workspace VPC endpoint.

  1. Em seu trânsito VPC, use a ferramenta de linha de comando nslookup Unix para obter a resolução de DNS usando o URL workspace. Veja o exemplo na Etapa 5: Configurar o DNS interno para redirecionar as solicitações do usuário para o aplicativo web.
  2. Copie o URL da instância do plano de controle do seu PrivateLink workspace. A URL da instância do plano de controle está no formato <region>.privatelink.cloud.databricks.com.
  3. Em sua VPC de trânsito, crie uma zona hospedada privada com o nome de domínio privatelink.cloud.databricks.com.
  4. Adicione um registro CNAME que resolva accounts-pl-auth.privatelink.cloud.databricks.com ao URL da instância do seu plano de controle.
  5. Teste a configuração acessando o URI de redirecionamento do Databricks PrivateLink a partir de sua VPC de trânsito.
Última atualização em