Pular para o conteúdo principal
Última atualização em

Configure o PrivateLink front-end para serviço de alto desempenho

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Esta página mostra como configurar AWS PrivateLink para conectividade de front-end com serviços de alto desempenho na plataforma Databricks . Essa conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks , como o Zerobus Ingest e o dimensionamento automático do Lakebase.

Benefícios​

  • Segurança aprimorada : o tráfego entre sua rede e o serviço Databricks permanece dentro da infraestrutura de rede AWS .
  • Acesso a serviços de alto desempenho : Conexões privadas para serviços como Zerobus Ingest e Lakebase autoscale.
  • Requisitos de conformidade : Atender aos requisitos regulamentares que exigem conectividade de rede privada.
  • Relação custo-benefício : O PrivateLink custa menos do que opções de conectividade pública, como gateways NAT.
nota

Atualmente, Databricks não cobra pelos custos de rede associados às conexões PrivateLink de front-end com serviços que exigem alto desempenho. Poderão ser introduzidas taxas no futuro.

Requisitos​

  • Sua account Databricks precisa ser do plano Enterprise.
  • Você precisa ser um administrador account Databricks para registrar o endpoint VPC e gerenciar as configurações de acesso privado.
  • Você precisa ter permissões na AWS para criar um endpoint VPC .
  • Sua região da AWS deve ser compatível com o PrivateLink de front-end. Consulte Serviço endpoint VPC PrivateLink para obter serviço endpoint VPC regional.

Passo 1: Criar endpoint VPC​

Para criar um endpoint VPC de front-end no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região para a mesma região da sua VPC de trânsito.

  3. Clique em Criar ponto de extremidade .

  4. Ao nomear o endpoint, a Databricks recomenda incluir a região e service-direct, como em databricks-us-west-2-service-direct-vpce.

  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .

  6. No campo "Nome do serviço", cole o nome do serviço correspondente à sua região. Utilize a tabela no serviço endpoint VPC PrivateLink para encontrar os nomes dos serviços front-end do PrivateLink (rótulo serviço-Direct na tabela).

  7. Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que indica "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem corretamente.

  8. Em VPC , selecione sua VPC de trânsito.

  9. Em Sub-redes , selecione uma sub-rede. Se você estiver implantado em ap-northeast-1, ap-northeast-2, us-east-1 ou us-west-2, verifique se você está usando apenas as zonas de disponibilidade suportadas listadas em Suporte à zona de disponibilidade.

  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões de front-end.

  11. (Opcional) Ative os nomes DNS privados para o endpoint da VPC.

atenção

Recomendamos que você não habilite nomes DNS privados nesta etapa. Habilitar o DNS privado roteia imediatamente o tráfego pelo PrivateLink, mas as solicitações são rejeitadas até que você conclua o registro e a configuração endpoint VPC nos seguintes passos. Em vez disso, configure o DNS após concluir a configuração, na etapa 5.

  1. Clique em Criar terminal .

  2. Registre as seguintes informações para os passos posteriores:

    • O ID endpoint VPC
    • O endereço IPv4 do endpoint da VPC na sub-rede que você selecionou.

o passo 2: registro VPC endpoint​

Após criar seu endpoint VPC no Console de Gerenciamento AWS , registre-o no Databricks. Não é possível atualizar uma configuração de rede depois de criá-la. Siga estes passos para registrar seu endpoint VPC :

  1. Acesse o console account Databricks .

  2. Clique em recurso de nuvem na barra lateral.

  3. Selecione a rede .

  4. Clique em "Registros endpoint VPC na navegação vertical.

  5. Clique em Registrar um VPC endpoint .

  6. Insira um nome descritivo para o registro do seu endpoint VPC.

    • Recomenda-se uma convenção de nomenclatura que inclua a região e a finalidade, como VPCE us-west-2 for service-direct.

  7. Selecione a região apropriada. A região deve corresponder tanto à região do seu workspace quanto à região do endpoint da VPC AWS que você está registrando.

  8. Cole o ID do endpoint da VPC da AWS no campo ID do endpoint da VPC da AWS .

  9. Clique em Registrar novo VPC endpoint .

Se você tiver vários espaços de trabalho que compartilham a mesma VPC de gerenciamento de clientes, poderá compartilhar o endpoint VPC AWS entre eles. Para várias contas Databricks , registre o endpoint VPC AWS em cada account.

o passo 3: Criar configurações de acesso privado​

As configurações de acesso privado descrevem a conectividade PrivateLink do seu workspace e são necessárias para habilitar a conectividade privada. Para usar o PrivateLink, você deve anexar um objeto de configurações de acesso privado ao criar seu workspace. Siga estes passos para criar suas configurações de acesso privado:

  1. Como administrador da conta, faça login no console da conta.

  2. Na barra lateral, clique em Configurações de acesso privado .

  3. Clique em Adicionar configurações de acesso privado .

  4. Digite um nome para seu novo objeto de configurações de acesso privado.

  5. Selecione uma região que corresponda à região do seu workspace .

  6. Configure o campo " Acesso público ativado" :

    • False (default) : A conexão de front-end é acessível exclusivamente através do PrivateLink, bloqueando o acesso à internet pública.
    • Verdadeiro : A conexão de front-end é acessível tanto pelo PrivateLink quanto pela internet pública.

  7. Selecione um nível de acesso privado :

    • conta : Limitar conexões ao endpoint VPC registrado em sua account Databricks .
    • endpoint : Limitar conexões a um conjunto explícito de endpoints VPC . Inclua o registro do seu endpoint VPC de front-end.

  8. Clique em Adicionar configurações de acesso privado .

Para concluir esta etapa, seu workspace já deve estar usando uma VPC gerenciada pelo cliente e conectividade cluster segura.

  1. Para criar um workspace, consulte Criar um workspaceclássico. Consulte essa página para obter orientações sobre campos workspace como URL workspace , região, Unity Catalog, configurações de credenciais e configurações de armazenamento. Não clique no botão Salvar ainda.

  2. Clique em Configurações avançadas para view campos adicionais.

  3. Na dropdown PrivateLink , escolha o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.

  4. Clique em Salvar .

  5. Após criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de usar ou criar compute.

    O estado workspace permanece RUNNING e a alteração VPC ocorre imediatamente. No entanto, você não poderá usar ou criar compute por mais 20 minutos. Se você tentar criar ou usar compute antes do término desse intervalo, o compute poderá não ser iniciado ou apresentar outros comportamentos inesperados.

Para concluir a configuração do PrivateLink, configure as definições de DNS personalizadas para encaminhar o tráfego através do seu endpoint VPC . Para obter instruções detalhadas, consulte Configurar DNS para o PrivateLink de front-end da AWS.

o passo 6: Verificar conectividade de rede​

Teste a conectividade do seu cliente para verificar se o PrivateLink de front-end está configurado corretamente.

Verificar resolução de DNS​

Confirme se as consultas DNS resolvem para o endereço IP privado do endpoint da VPC que você criou anteriormente:

Bash
dig <region>.service-direct.privatelink.cloud.databricks.com

Ou use nslookup como alternativa:

Bash
nslookup <region>.service-direct.privatelink.cloud.databricks.com

Ambos os comandos devem retornar o endereço IP privado do seu endpoint VPC .

Teste a conectividade básica.​

Verifique se você consegue se conectar ao endpoint do PrivateLink:

Bash
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443

Se a conexão for bem-sucedida, você configurou corretamente o seu PrivateLink de front-end.

Após verificar a conectividade, opcionalmente defina public_access_enabled como false em sua Configuração de Acesso Privado para impor acesso somente privado.

nota

Para testes de conectividade específicos do produto (como Zerobus Ingest ou escalonamento automático do Lakebase), consulte a documentação do respectivo serviço.

Limitações​

Esteja ciente das seguintes limitações:

  • Limite endpoint VPC : O limite default para endpoints VPC de qualquer tipo é 110 por account. Caso precise de um aumento de quota, entre em contato com a equipe da sua account Databricks .
  • Restrições de zona de disponibilidade : Algumas regiões da AWS suportam o PrivateLink apenas em zonas de disponibilidade específicas. Consulte a seção Suporte à zona de disponibilidade.
  • Restrições compute clássicas : Ao acessar o PrivateLink de front-end a partir de um recurso compute clássico padrão, o sistema bloqueia o tráfego para endereços IP no CIDR do seu workspace , exceto nas portas 80, 443 e 53. Essa restrição se aplica somente quando você cria o endpoint VPC dentro da sua VPC workspace . Para contornar essa limitação, crie o endpoint da VPC em uma VPC separada e configure o peering de VPC entre as duas VPCs.

Suporte à zona de disponibilidade​

Algumas regiões AWS oferecem suporte ao PrivateLink para serviços que exigem alto desempenho, mas apenas em zonas de disponibilidade específicas. Se a sua implantação estiver em uma das seguintes regiões, certifique-se de que as sub-redes dos seus endpoint VPC estejam nas zonas de disponibilidade compatíveis:

Região

Zonas de disponibilidade suportadas

ap-northeast-1

apne1-az1, apne1-az2, apne1-az4

ap-northeast-2

apne2-az1, apne2-az3

us-east-1

use1-az1, use1-az2, use1-az4, use1-az5, use1-az6

us-west-2

usw2-az1, usw2-az2, usw2-az3, usw2-az4

Todas as outras regiões suportadas permitem qualquer zona de disponibilidade.

Próximos passos​