Pular para o conteúdo principal

Configurar a conectividade privada com os Databricks

Esta página aborda as etapas de configuração da conectividade privada de front-end entre os usuários e seu espaço de trabalho Databricks. Para adicionar mais segurança à implementação do workspace serverless , o senhor deve ter conectividade privada de front-end.

Estabeleça conexões seguras e privadas de suas AWS VPCs ou redes locais para Databricks serviço usando o PrivateLink front-end, que roteia o tráfego por meio de uma interface VPC endpoint em vez da Internet pública.

Com o front-end PrivateLink, você pode:

  • Configurar acesso privado : Configure conexões PrivateLink front-end para o aplicativo web Databricks, REST API e Databricks Connect API.
  • Habilite facilmente o acesso privado : configure o PrivateLink durante a criação de um novo workspace ou habilite-o em um já existente.
  • Impor a conectividade privada obrigatória : O senhor deve configurar a conectividade privada dos usuários para Databricks e do plano de controle para o plano compute a fim de impor a conectividade privada para um workspace.

Requisitos​

  • Sua conta do Databricks está no nível de preço Enterprise.
  • O seu Databricks workspace deve utilizar um cliente-gerenciar VPC. Não é possível converter um workspace existente de um Databricks-gerenciar VPC para um customer-gerenciar VPC. Consulte Configurar um cliente-gerenciar VPC.
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Para estabelecer uma conexão PrivateLink front-end para acessar o workspace a partir de sua rede local, o senhor deve conectar sua rede local a um AWS VPC usando Direct Connect ou VPN.
  • O senhor deve permitir que o tráfego de rede de todos os espaços de endereço relevantes em sua rede local se conecte ao seu endpoint VPC usando a porta TCP 443.

Etapa 1: Criar o endpoint VPC​

Um endpoint front-end se origina da sua VPC de trânsito, normalmente servindo como fonte para o acesso do usuário ao aplicativo web. Geralmente, trata-se de um servidor separado VPC do servidor workspace's compute plane VPC e pode ser conectado a uma rede local. Se você possui várias contas Databricks, é possível compartilhar um front-end VPC endpoint entre essas contas. Registre o endpoint em cada Databricks account relevante.

Para criar o endpoint VPC front-end no console de gerenciamento AWS:

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.
  2. No canto superior direito, defina a região como a mesma região da VPC de trânsito.
  3. Clique em Criar ponto de extremidade .
  4. Ao nomear o endpoint, recomendamos que você inclua a região e a palavra workspace ou frontend, como databricks-us-west-2-workspace-vpce.
  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .
  6. No campo nome do serviço, cole o nome do serviço. Use a tabela no PrivateLink VPC endpoint serviço para encontrar os nomes dos serviços regionais. Copie o espaço de trabalho de um rótulo (incluindo REST API ).
  7. Clique em “Verificar serviço” e certifique-se de que a página exibe o nome do serviço verificado em uma caixa verde. Se você encontrar um erro informando que o nome do serviço "não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e novo endpoint da VPC estão correspondendo corretamente.
  8. Em VPC , selecione sua VPC de trânsito.
  9. Em Sub-redes , selecione uma sub-rede.
  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões front-end.
  11. Clique em Criar terminal .

Etapa 2: registro VPC endpoint​

Depois de criar o ponto de extremidade VPC no Management Console AWS, registre-o com Databricks para estabelecer registros VPC endpoint . Você não pode atualizar uma configuração de rede após sua criação. Siga estas etapas para registrar seu endpoint VPC:

  1. Navegue até o console Databricks account .

  2. Clique em Cloud recurso na barra lateral.

  3. Selecione Rede .

  4. Clique em registros de endpoint VPC na navegação vertical.

  5. Clique em Registrar um VPC endpoint .

  6. Digite um nome descritivo para o registro do seu endpoint VPC.

    • Use uma convenção de nomenclatura que inclua a região e o propósito, como VPCE us-west-2 for SCC.

  7. Selecione a região apropriada. A região deve corresponder à sua região workspace e à região do endpoint AWS VPC que você está registrando.

  8. Cole o AWS VPC endpoint ID no campo AWS VPC endpoint ID .

    registro VPC endpoint.

  9. Clique em registrar new VPC endpoint

Se o senhor tiver vários espaços de trabalho que compartilham o mesmo cliente-gerenciar VPC, poderá compartilhar o endpoint AWS VPC entre eles. Para várias contas Databricks, registre o AWS VPC endpoint em cada account.

Etapa 3: criar configurações de acesso privado​

As configurações de acesso privado descrevem a conectividade do PrivateLink do seu workspace e são necessárias para habilitar a conectividade privada. Para utilizar o PrivateLink, é necessário anexar um objeto de configurações de acesso privado ao criar o seu workspace. Siga estas etapas para criar suas configurações de acesso privado:

  1. No console account, clique em Cloud recurso na barra lateral.

  2. Selecione Rede .

  3. Clique em Configurações de acesso privado na barra lateral.

  4. Clique em Adicionar configurações de acesso privado .

    Objeto de configurações de acesso privado.

  5. Digite um nome para seu novo objeto de configurações de acesso privado.

  6. Selecione uma região que corresponda à sua região workspace.

  7. Configure o campo Acesso público ativado :

    • False (default ): A conexão front-end é acessível exclusivamente por meio do PrivateLink, bloqueando o acesso público à Internet.
    • Verdadeiro : a conexão front-end pode ser acessada tanto pelo PrivateLink quanto pela Internet pública.

  8. Selecione um nível de acesso privado :

    • conta : Limite as conexões ao endpoint VPC registrado em sua conta Databricks account.
    • endpoint : Limitar as conexões a um conjunto explícito de VPC endpoint. Inclua seu registro de endpoint VPC front-end.

  9. Clique em Adicionar configuração de acesso privado .

Para concluir esta etapa, o site workspace já deve estar usando um gerenciador de clientes VPC e conectividade segura de clustering.

  1. Consulte Criar manualmente um workspace (conta Databricks existente) para criar um workspace. Consulte essa página para obter orientações sobre campos de workspace, como URL workspace, região, Unity Catalog, configurações de credenciais e configurações de armazenamento. Não clique no botão Salvar ainda.

  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.

  3. No PrivateLink dropdown, selecione o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.

  4. Clique em Salvar .

  5. Após criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de utilizar ou criar o clustering.

    O status “ workspace ” permanece como “ RUNNING ” e a alteração “ VPC ” ocorre imediatamente. No entanto, não é possível utilizar ou criar agrupamentos por mais 20 minutos. Se você criar ou utilizar o agrupamento antes que esse intervalo de tempo expire, o agrupamento não será iniciado com sucesso, falhará ou poderá causar outro comportamento inesperado.

Etapa 5: Configurar o DNS interno para redirecionar as solicitações do usuário para o aplicativo web​

Para encaminhar as solicitações do usuário para sua conexão front-end do PrivateLink, você deve atualizar suas configurações de DNS privado. Esse processo garante que o URL workspace seja resolvido para o IP privado do seu VPC endpoint.

Configurar o mapeamento de DNS​

  1. Verifique se o site workspace inclui o PrivateLink.

  2. Configure seu DNS interno para mapear o URL workspace para seu front-end VPC endpoint IP privado.

  3. Teste a resolução de DNS usando o comando nslookup:

    Bash
    nslookup my-workspace-name-here.cloud.databricks.com

Resposta de exemplo:

Non-authoritative answer:
my-workspace-name-here.cloud.databricks.com     canonical name = oregon.cloud.databricks.com.
oregon.cloud.databricks.com     canonical name = a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com.
Name:   a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com
Address: 44.234.192.47F

Exemplos de mapeamento de DNS​

Para um workspace com um front-end VPC endpoint em AWS região us-east-1:

mapeamento de DNS padrão:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com. Nesse caso, nvirginia é o nome abreviado da instância do plano de controle nessa região.
  • nvirginia.privatelink.cloud.databricks.com mapeia para nvirginia.cloud.databricks.com.
  • nvirginia.cloud.databricks.com mapeia para os IPs públicos do AWS.

Mapeamento de DNS necessário após suas alterações:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com.
  • nvirginia.privatelink.cloud.databricks.com mapeia para o IP privado de seu endpoint VPC para conectividade de front-end.

Opções de configuração​

Para mapear o URL workspace para o IP privado VPC endpoint de sua rede local, escolha uma destas opções:

  1. Configure o encaminhamento condicional para que o URL workspace use o AmazonDNS.
  2. Crie um registro A para o URL workspace em seu DNS local que mapeie para o IP privado VPC endpoint .
  3. Crie um mapeamento direto em que myworkspace.cloud.databricks.com aponte diretamente para o IP privado do endpoint da VPC.

Registros DNS necessários​

Crie os seguintes registros em seu servidor DNS para permitir o acesso a todos os serviços:

Tipo de registro

Nome do registro

Valor

A

<deployment-name>.cloud.databricks.com

IP da interface PrivateLink

CNAME

dbc-dp-<workspace-id>.cloud.databricks.com

<deployment-name>.cloud.databricks.com

Verificação​

Depois de atualizar sua configuração de DNS:

  1. Teste a configuração acessando o aplicativo da Web Databricks workspace a partir do seu sistema de trânsito VPC.
  2. Teste a conectividade da API REST.
  3. Crie um endpoint de VPC na VPC de trânsito, se necessário, para testes.

Se você encontrar erros, verifique se todos os registros DNS necessários foram configurados corretamente.

info

Visualização

O login unificado com o front-end PrivateLink está na versão prévia privada. O senhor deve entrar em contato com a equipe do Databricks account para solicitar acesso a essa visualização. Para obter mais informações sobre login unificado, consulte Ativar login unificado.

Se seus usuários tiverem acesso à Internet pública, essa etapa não será necessária.

Quando um usuário faz login em workspace, onde o login unificado está habilitado, o sistema o redireciona para accounts.cloud.databricks.com no fluxo de autenticação. Para utilizar o login unificado com um workspace onde o PrivateLink front-end está habilitado e o usuário não tem acesso à Internet pública, é necessário seguir estas etapas para configurar o provedor de identidade e o DNS interno.

  1. Como administrador da conta, faça login no console da conta.
  2. Na barra lateral, clique em Configurações .
  3. Clique em Authentication (Autenticação ) tab.
  4. Ao lado de Authentication (Autenticação ), clique em gerenciar .
  5. Escolha Login único com meu provedor de identidade .
  6. Clique em "Continuar" .
  7. Copie o valor no campo Databricks Redirect URL .
  8. Substitua accounts por accounts-pl-auth para obter o URI de redirecionamento do Databricks PrivateLink.
  9. Acesse seu provedor de identidade.
  10. Adicione o URI de redirecionamento do Databricks PrivateLink como um URL de redirecionamento adicional. Se o senhor configurar o SSO usando SAML, adicione também o URI de redirecionamento do Databricks PrivateLink como um ID de entidade adicional.

Se você tiver uma área de trabalho PrivateLink e uma área de trabalho não PrivateLink no seu account, não remova o URL de redirecionamentoDatabricks com account dos URLs de redirecionamento do seu provedor de identidade.

Configure uma zona hospedada privada para sua VPC de trânsito​

Realize a seguinte configuração na sua VPC de trânsito para garantir que o URI de redirecionamento do Databricks PrivateLink seja mapeado para o endereço IP privado do endpoint da VPC do seu endpoint da VPC do workspace.

  1. Em seu trânsito VPC, use a ferramenta de linha de comando nslookup Unix para obter a resolução de DNS usando o URL workspace. Veja o exemplo na Etapa 5: Configurar o DNS interno para redirecionar as solicitações do usuário para o aplicativo web.
  2. Copie o URL da instância do plano de controle do seu PrivateLink workspace. A URL da instância do plano de controle está no formato <region>.privatelink.cloud.databricks.com.
  3. Em sua VPC de trânsito, crie uma zona hospedada privada com o nome de domínio privatelink.cloud.databricks.com.
  4. Adicione um registro CNAME que resolva accounts-pl-auth.privatelink.cloud.databricks.com ao URL da instância do seu plano de controle.
  5. Teste a configuração acessando o URI de redirecionamento do Databricks PrivateLink a partir de sua VPC de trânsito.

O que vem a seguir​

  • Conectividade privada aprimorada no back-end : conclua sua configuração de conectividade privada configurando o PrivateLink do seu plano de rede ( compute ) para o plano de controle para obter isolamento de rede de ponta a ponta. Consulte Ativar conectividade privada usando o AWS PrivateLink.
  • VPC Gerenciamento do cliente : implante o workspace em sua própria VPC para obter maior controle sobre as configurações de rede e políticas de segurança. Consulte Configurar um cliente-gerenciar VPC.
  • Controles de segurança da lista de acesso IP : adicione uma camada adicional de segurança controlando quais endereços IP públicos podem acessar o seu workspace por meio de regras configuráveis de permissão e negação. Consulte Configurar listas de acesso IP para o espaço de trabalho.
Última atualização em