Pular para o conteúdo principal

Configurar a conectividade privada com os Databricks

Esta página aborda a configuração dos passos para conectividade privada front-end entre usuários e seu espaço de trabalho Databricks . Para adicionar segurança à implementação serverless do seu workspace, você deve usar conectividade privada de front-end.

Estabeleça conexões seguras e privadas de suas AWS VPCs ou redes locais para Databricks serviço usando o PrivateLink front-end, que roteia o tráfego por meio de uma interface VPC endpoint em vez da Internet pública.

Com o front-end PrivateLink, você pode:

  • Configurar acesso privado : Configure conexões PrivateLink front-end para o aplicativo web Databricks, REST API e Databricks Connect API.
  • Habilitar acesso privado : configure o PrivateLink ao criar um novo workspace ou em um existente.
  • Aplicar conectividade privada : configure a conectividade privada dos usuários para Databricks e do plano de controle para o plano compute .

Requisitos​

  • Sua account Databricks está no plano Enterprise.
  • Seu workspace Databricks deve usar uma VPC gerenciada pelo cliente. Não é possível converter um workspace existente de uma VPC gerenciada pelo Databrickspara uma VPC gerenciada pelo cliente. Consulte Configurar uma VPCde gerenciamento de clientes.
  • O senhor deve ter todas as permissões necessárias em AWS para configurar um Databricks workspace e criar um novo endpoint VPC para o seu workspace.
  • Para estabelecer uma conexão PrivateLink de front-end para acessar o workspace da sua rede on-premises , conecte sua rede on-premises a uma VPC AWS usando o Direct Connect ou VPN.
  • Permita que o tráfego de rede de todos os espaços de endereço relevantes dentro da sua rede local se conecte ao seu endpoint VPC usando a porta TCP 443.

Etapa 1: Criar o endpoint VPC​

Um endpoint front-end se origina da sua VPC de trânsito, normalmente servindo como fonte para o acesso do usuário ao aplicativo web. Geralmente, trata-se de um servidor separado VPC do servidor workspace's compute plane VPC e pode ser conectado a uma rede local. Se você possui várias contas Databricks, é possível compartilhar um front-end VPC endpoint entre essas contas. Registre o endpoint em cada Databricks account relevante.

Para criar o endpoint VPC front-end no console de gerenciamento AWS:

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.
  2. No canto superior direito, defina a região como a mesma região da VPC de trânsito.
  3. Clique em Criar ponto de extremidade .
  4. Ao nomear o endpoint, Databricks recomenda incluir a região e workspace ou front-end, como databricks-us-west-2-workspace-vpce.
  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .
  6. No campo nome do serviço, cole o nome do serviço. Use a tabela no PrivateLink VPC endpoint serviço para encontrar os nomes dos serviços regionais. Copie o espaço de trabalho de um rótulo (incluindo REST API ).
  7. Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que diz "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e novo endpoint VPC correspondem corretamente.
  8. Em VPC , selecione sua VPC de trânsito.
  9. Em Sub-redes , selecione uma sub-rede.
  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões front-end.
  11. Clique em Criar terminal .

Etapa 2: registro VPC endpoint​

Depois de criar seu endpoint VPC no AWS Management Console, registre-o no Databricks. Não é possível atualizar uma configuração de rede depois que ela foi criada. Siga estes passos para registrar seu endpoint VPC :

  1. Acesse o console account Databricks .

  2. Clique em Cloud recurso na barra lateral.

  3. Selecione Rede .

  4. Clique em registros de endpoint VPC na navegação vertical.

  5. Clique em Registrar um VPC endpoint .

  6. Digite um nome descritivo para o registro do seu endpoint VPC.

    • É recomendada uma convenção de nomenclatura que inclua a região e a finalidade, como VPCE us-west-2 for SCC.

  7. Selecione a região apropriada. A região deve corresponder à sua região workspace e à região do endpoint AWS VPC que você está registrando.

  8. Cole o AWS VPC endpoint ID no campo AWS VPC endpoint ID .

    registro VPC endpoint.

  9. Clique em Registrar novo VPC endpoint .

Se o senhor tiver vários espaços de trabalho que compartilham o mesmo cliente-gerenciar VPC, poderá compartilhar o endpoint AWS VPC entre eles. Para várias contas Databricks, registre o AWS VPC endpoint em cada account.

Etapa 3: criar configurações de acesso privado​

As configurações de acesso privado descrevem a conectividade PrivateLink do seu workspace e são necessárias para habilitar a conectividade privada. Para usar o PrivateLink, você deve anexar um objeto de configurações de acesso privado ao criar seu workspace. Siga estes passos para criar suas configurações de acesso privado:

  1. No console account , clique em Segurança na barra lateral.

  2. Clique em Configurações de acesso privado na barra lateral.

  3. Clique em Adicionar configurações de acesso privado .

    Objeto de configurações de acesso privado.

  4. Digite um nome para seu novo objeto de configurações de acesso privado.

  5. Selecione uma região que corresponda à sua região workspace.

  6. Configure o campo Acesso público ativado :

    • False (default ): A conexão front-end é acessível exclusivamente por meio do PrivateLink, bloqueando o acesso público à Internet.
    • Verdadeiro : a conexão front-end pode ser acessada tanto pelo PrivateLink quanto pela Internet pública.

  7. Selecione um nível de acesso privado :

    • conta : Limite as conexões ao endpoint VPC registrado em sua conta Databricks account.
    • endpoint : Limitar as conexões a um conjunto explícito de VPC endpoint. Inclua seu registro de endpoint VPC front-end.

  8. Clique em Adicionar configurações de acesso privado .

Para concluir esta etapa, o site workspace já deve estar usando um gerenciador de clientes VPC e conectividade segura de clustering.

  1. Consulte Criar manualmente um workspace (conta Databricks existente) para criar um workspace. Consulte essa página para obter orientações sobre campos de workspace, como URL workspace, região, Unity Catalog, configurações de credenciais e configurações de armazenamento. Não clique no botão Salvar ainda.

  2. Clique em Advanced configurations (Configurações avançadas ) para view campos adicionais.

  3. No PrivateLink dropdown, selecione o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.

  4. Clique em Salvar .

  5. Após criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de utilizar ou criar o clustering.

    O status workspace permanece RUNNING e a alteração VPC acontece imediatamente. Entretanto, você não poderá usar ou criar clusters por mais 20 minutos. Se você criar ou usar clusters antes do término desse intervalo, os clusters poderão falhar ao iniciar ou causar outro comportamento inesperado.

Etapa 5: Configurar o DNS interno para redirecionar as solicitações do usuário para o aplicativo web​

Para rotear solicitações de usuários para sua conexão PrivateLink de front-end, atualize suas configurações de DNS privado. Esse processo garante que a URL do seu workspace seja resolvida para o IP privado do seu endpoint VPC .

Configurar o mapeamento de DNS​

  1. Verifique se o site workspace inclui o PrivateLink.

  2. Configure seu DNS interno para mapear a URL workspace para o IP privado do seu endpoint VPC front-end.

  3. Teste a resolução de DNS usando o comando nslookup:

    Bash
    nslookup my-workspace-name-here.cloud.databricks.com

Resposta de exemplo:

Non-authoritative answer:
my-workspace-name-here.cloud.databricks.com     canonical name = oregon.cloud.databricks.com.
oregon.cloud.databricks.com     canonical name = a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com.
Name:   a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com
Address: 44.234.192.47

Exemplos de mapeamento de DNS​

Para um workspace com um front-end VPC endpoint em AWS região us-east-1:

mapeamento de DNS padrão:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com. Nesse caso, nvirginia é o nome abreviado da instância do plano de controle nessa região.
  • nvirginia.privatelink.cloud.databricks.com mapeia para nvirginia.cloud.databricks.com.
  • nvirginia.cloud.databricks.com mapeia para os IPs públicos do AWS.

Mapeamento de DNS necessário após suas alterações:

  • myworkspace.cloud.databricks.com mapeia para nvirginia.privatelink.cloud.databricks.com.
  • nvirginia.privatelink.cloud.databricks.com mapeia para o IP privado de seu endpoint VPC para conectividade de front-end.

Opções de configuração​

Para mapear o URL workspace para o IP privado VPC endpoint de sua rede local, escolha uma destas opções:

  1. Configure o encaminhamento condicional para que o URL workspace use o AmazonDNS.
  2. Crie um registro A para o URL workspace no seu DNS on-premises que mapeia para o IP privado endpoint VPC .
  3. Crie um mapeamento direto em que myworkspace.cloud.databricks.com aponte diretamente para o IP privado do endpoint da VPC.

Registros DNS necessários​

Crie os seguintes registros em seu servidor DNS para permitir o acesso a todos os serviços:

Tipo de registro

Nome do registro

Valor

A

<deployment-name>.cloud.databricks.com

IP da interface PrivateLink

CNAME

dbc-dp-<workspace-id>.cloud.databricks.com

<deployment-name>.cloud.databricks.com

Verificação​

Depois de atualizar sua configuração de DNS:

  1. Teste a configuração acessando o aplicativo da Web Databricks workspace a partir do seu sistema de trânsito VPC.
  2. Teste a conectividade da API REST.
  3. Crie um endpoint de VPC na VPC de trânsito, se necessário, para testes.

Se você encontrar erros, verifique se todos os registros DNS necessários foram configurados corretamente.

info

Visualização

O login unificado com o front-end PrivateLink está na versão prévia privada. O senhor deve entrar em contato com a equipe do Databricks account para solicitar acesso a essa visualização. Para obter mais informações sobre login unificado, consulte Ativar login unificado.

Se seus usuários tiverem acesso à Internet pública, essa etapa não será necessária.

Quando um usuário efetua login em um workspace onde o login unificado está habilitado, o sistema o redireciona para accounts.cloud.databricks.com no fluxo de autenticação. Para usar o login unificado com um workspace onde o PrivateLink de front-end está habilitado e o usuário não tem acesso à Internet pública, siga estes passos para configurar seu provedor de identidade e DNS interno.

  1. Como administrador da conta, faça login no console da conta.
  2. Na barra lateral, clique em Configurações .
  3. Clique em Authentication (Autenticação ) tab.
  4. Ao lado de Authentication (Autenticação ), clique em gerenciar .
  5. Escolha Login único com meu provedor de identidade .
  6. Clique em "Continuar" .
  7. Copie o valor no campo Databricks Redirect URL .
  8. Substitua accounts por accounts-pl-auth para obter o URI de redirecionamento do Databricks PrivateLink.
  9. Acesse seu provedor de identidade.
  10. Adicione o URI de redirecionamento do Databricks PrivateLink como um URL de redirecionamento adicional. Se o senhor configurar o SSO usando SAML, adicione também o URI de redirecionamento do Databricks PrivateLink como um ID de entidade adicional.

Se você tiver uma área de trabalho PrivateLink e uma área de trabalho não PrivateLink no seu account, não remova o URL de redirecionamentoDatabricks com account dos URLs de redirecionamento do seu provedor de identidade.

Configure uma zona hospedada privada para sua VPC de trânsito​

Execute a seguinte configuração na sua VPC de trânsito para verificar se o URI de redirecionamento Databricks PrivateLink mapeia para o endereço IP privado endpoint VPC para o endpoint VPC do seu workspace .

  1. Na sua VPC de trânsito, use a ferramenta de linha de comando Unix nslookup para obter a resolução de DNS usando a URL do seu workspace . Veja o exemplo no passo 5: Configurar DNS interno para redirecionar solicitações do usuário para o aplicativo web.
  2. Copie o URL da instância do plano de controle do seu PrivateLink workspace. A URL da instância do plano de controle está no formato <region>.privatelink.cloud.databricks.com.
  3. Na sua VPC de trânsito, crie uma zona hospedada privada com o nome de domínio privatelink.cloud.databricks.com.
  4. Adicione um registro CNAME que resolva accounts-pl-auth.privatelink.cloud.databricks.com ao URL da instância do seu plano de controle.
  5. Teste a configuração acessando o URI de redirecionamento do Databricks PrivateLink a partir de sua VPC de trânsito.

O que vem a seguir​

  • Conectividade privada aprimorada no back-end : conclua sua configuração de conectividade privada configurando o PrivateLink do seu plano de rede ( compute ) para o plano de controle para obter isolamento de rede de ponta a ponta. Consulte Ativar conectividade privada usando o AWS PrivateLink.
  • VPC Gerenciamento do cliente : implante o workspace em sua própria VPC para obter maior controle sobre as configurações de rede e políticas de segurança. Consulte Configurar um cliente-gerenciar VPC.
  • Controles de segurança da lista de acesso IP : adicione uma camada adicional de segurança controlando quais endereços IP públicos podem acessar o seu workspace por meio de regras configuráveis de permissão e negação. Consulte Configurar listas de acesso IP para o espaço de trabalho.

Configuração de DNS personalizada​

Ao usar um endpoint front-end privado com seu próprio DNS personalizado, você deve verificar se tanto a URL workspace quanto as URLs de autenticação SSO (logon único) são resolvidas corretamente para o endereço IP do endpoint privado.

O método mais confiável é configurar seu servidor DNS para encaminhar consultas de todos os domínios do Databricks para o DNS interno do Azure.

  1. Configure o encaminhamento condicional para os seguintes domínios para o seu servidor DNS do Azure:

    • *.azuredatabricks.net
    • *.privatelink.azuredatabricks.net
    • *.databricksapps.com

  2. Verifique se sua VNet está vinculada à Zona DNS Privada do Azure.

Isso permite que Azure resolva automaticamente todos os nomes de host necessários, incluindo URLs SSO e workspace , para o endereço IP do seu endpoint privado.

Última atualização em