Pular para o conteúdo principal
Última atualização em

Configure o PrivateLink de entrada para serviços de alto desempenho

Esta página mostra como configurar o PrivateLink para conectividade de entrada a serviços que exigem alto desempenho na plataforma Databricks . Essa conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks , como o Zerobus Ingest e o dimensionamento automático do Lakebase.

Benefícios​

  • Segurança aprimorada: o tráfego entre sua rede e os serviços Databricks permanece dentro da infraestrutura de rede da AWS.
  • Acesso a serviços de desempenho intenso: conexões privadas a serviços como Zerobus Ingest e o autoscale do Lakebase.
  • Requisitos de compliance: Cumpra os requisitos regulatórios que impõem conectividade de rede privada.
  • Eficiência de custo: O PrivateLink custa menos do que opções de conectividade pública, como gateways NAT.

A Databricks cobra por determinados custos de rede associados às conexões PrivateLink de entrada para serviços de alto desempenho. Para obter mais informações, consulte Entenda os custos de rede do Databricks.

Requisitos​

  • Sua account Databricks precisa ser do plano Enterprise.
  • Você precisa ser um administrador account Databricks para registrar o endpoint VPC e gerenciar as configurações de acesso privado.
  • Você precisa ter permissões na AWS para criar um endpoint VPC .
  • Sua região da AWS deve suportar PrivateLink de entrada. Consulte Serviço endpoint VPC PrivateLink para obter serviço endpoint VPC regional.

Passo 1: Criar endpoint VPC​

Para criar um endpoint VPC de entrada no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região para a mesma região da sua VPC de trânsito.

  3. Clique em Criar ponto de extremidade .

  4. Ao nomear o endpoint, a Databricks recomenda incluir a região e a finalidade, como databricks-us-west-2-inbound-pl-vpce.

  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .

  6. No campo "Nome do serviço", cole o nome do serviço correspondente à sua região. Use a tabela no serviço endpoint VPC do PrivateLink para encontrar os nomes dos serviços PrivateLink de entrada (rótulo Inbound private link for desempenho-intensive serviço in the table).

  7. Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que indica "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem corretamente.

  8. Em VPC , selecione sua VPC de trânsito.

  9. Em Sub-redes , selecione uma sub-rede. Se você estiver implantado em ap-northeast-1, ap-northeast-2, us-east-1 ou us-west-2, verifique se você está usando apenas as zonas de disponibilidade suportadas listadas em Suporte à zona de disponibilidade.

  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões de entrada.

  11. (Opcional) Ative os nomes DNS privados para o endpoint da VPC.

atenção

Recomendamos que você não habilite nomes DNS privados nesta etapa. Habilitar o DNS privado roteia imediatamente o tráfego pelo PrivateLink, mas as solicitações são rejeitadas até que você conclua o registro e a configuração endpoint VPC nos seguintes passos. Em vez disso, configure o DNS após concluir a configuração, na etapa 5.

  1. Clique em Criar terminal .

  2. Registre as seguintes informações para os passos posteriores:

    • O ID endpoint VPC
    • O endereço IPv4 do endpoint da VPC na sub-rede que você selecionou.
nota

O grupo de segurança que o senhor selecionar para conexões de entrada deve permitir o tráfego de entrada para o serviço ao qual o senhor se conecta por meio do endpoint de VPC:

  • Lakebase Autoscaling : Permitir TCP de entrada na porta 5432 (Postgres) dos grupos de segurança ou dos intervalos CIDR dos clientes que se conectam. Isso abrange psql, drivers do Postgres e ORMs, e o editor de Tabelas e o editor de SQL.
  • Zerobus Ingest : Permitir TCP de entrada na porta 443.

Não é necessário configurar regras de saída. Grupos de segurança são com estado, portanto, o tráfego de resposta para uma conexão de entrada permitida é automaticamente autorizado.

o passo 2: registro VPC endpoint​

Após criar seu endpoint VPC no Console de Gerenciamento AWS , registre-o no Databricks. Não é possível atualizar uma configuração de rede depois de criá-la. Siga estes passos para registrar seu endpoint VPC :

  1. Acesse o console account Databricks .

  2. Clique em Segurança na barra lateral.

  3. Clique em Endpoints privados na navegação vertical.

  4. Clique em Registrar um endpoint privado .

  5. Insira um nome descritivo para o registro do seu endpoint VPC.

    • Recomenda-se uma convenção de nomenclatura que inclua a região e a finalidade, como VPCE us-west-2 for Service-Direct.

  6. Selecione a região apropriada. A região deve corresponder à sua região de workspace e à região do endpoint VPC da AWS que você está registrando.

  7. Cole o ID do endpoint da VPC da AWS no campo ID do endpoint da VPC da AWS .

  8. Clique em Registrar novo VPC endpoint .

Se você usa o compute Clássico e tem vários workspaces que compartilham a mesma VPC gerenciada pelo cliente, é possível compartilhar os endpoints da AWS VPC entre eles. Para várias contas do Databricks, é possível registrar o endpoint da AWS VPC em cada conta.

O passo 3: Configure a política de acesso privado​

Após registrar seu endpoint VPC de Serviço Direto, há duas formas de configurar uma política de acesso privado para seu workspace: com ingresso baseado em contexto ou com configurações de acesso privado. O uso da abordagem de ingresso baseado em contexto permite configurar acesso granular ao combinar condições de identidade, tipo de solicitação e origem da rede. Consulte Controle de entrada baseado em contexto. Configurações de acesso privado são políticas de tudo ou nada, vinculadas à região.

Para que o tráfego seja permitido, tanto as configurações de acesso privado quanto a entrada baseada em contexto devem permitir o endpoint. Por default, a entrada baseada em contexto é definida como **Permitir acesso de todos os endpoints privados**, o que transfere a decisão de acesso para a configuração de acesso privado do workspace. Caso deseje configurar políticas de acesso privado baseadas em contexto, certifique-se de que seu workspace tenha uma configuração de acesso privado anexada, com todos os endpoints privados registrados permitidos (veja mais abaixo). Isso transferirá a decisão de acesso para a política de entrada baseada em contexto do seu workspace. É possível reutilizar a mesma configuração de acesso privado "permitir todo o acesso" em qualquer workspace na mesma região.

info

Visualização

A configuração de acesso privado a workspaces usando entrada baseada em contexto (Método 1) está em Beta.

  1. No console de contas, clique em **Segurança** na barra lateral.

  2. Clique em **Controle de entrada e saída baseado em contexto** na barra lateral.

  3. Em **Políticas de nível de workspace**, clique em **Nova política de workspace**.

  4. Em entrada > acesso à rede privada , defina sua política de acesso privado.

    1. Por default, todos os endpoints registrados são permitidos: Permitir acesso de todos os endpoints privados . Se isso for aceitável, prossiga para o próximo passo. Este default inclui apenas os primeiros 200 endpoints de VPC registrados; se sua política exigir mais, entre em contato com sua equipe de account para solicitar um aumento.
    2. Se você deseja permitir endpoints registrados específicos enquanto nega todos os outros endpoints, desmarque Permitir acesso de todos os endpoints privados e adicione uma regra de permissão.
      1. Selecione as identidades e os destinos do workspace aos quais você deseja permitir acesso (por default, todos são permitidos).
      2. Em seguida, selecione o tipo de origem = Endpoints privados selecionados e selecione o(s) endpoint(s) de VPC do Serviço Direto que você registrou. A região deste endpoint VPC deve corresponder à região do seu workspace. Um endpoint do Serviço Direto só pode atender workspaces na mesma região.
      3. Clique em Confirmar .
      4. Você também pode adicionar regras de negação à sua política, que definem exceções às suas regras de permissão.

  5. Quando terminar de configurar sua política de acesso privado, você também pode configurar sua política de acesso público em Entrada > Acesso à Rede Pública . É possível desabilitar todo o acesso IP público desmarcando **Permitir acesso de todos os IPs públicos**. A Databricks recomenda manter o acesso público habilitado durante o teste de sua configuração de DNS e desabilitá-lo após a finalização do DNS para impor conectividade privada exclusiva.

  6. Teste sua política de entrada em modo de execução de teste primeiro, antes de mudá-la para Aplicada . As negações de acesso do modo de execução de teste são registradas na system table system.access.inbound_network, mas não bloquearão o acesso.

  7. Certifique-se de que sua política de saída esteja correta.

  8. Anexe sua política ao seu workspace.

  9. Salve sua política de rede. As atualizações da política de entrada baseada em contexto levam menos de 10 minutos para entrar em vigor. É possível usar uma política de rede por workspace, ou compartilhar uma única política entre workspaces que usam as mesmas regras de entrada e saída, para que ela seja definida uma vez e anexada em qualquer lugar.

  10. Anexe uma configuração de acesso privado de "permitir todo o acesso" ao seu workspace. Workspaces sem configurações de acesso privado anexadas têm todo o acesso privado negado, independentemente da política de rede.

    1. No console de contas, clique em **Segurança** na barra lateral.
    2. Clique em Configurações de acesso privado na barra lateral.
    3. Clique em Adicionar configurações de acesso privado .
    4. Digite um nome para seu novo objeto de configurações de acesso privado.
    5. Selecione uma região que corresponda à região do seu workspace .
    6. Defina o campo **Acesso público habilitado** como **Verdadeiro**.
    7. Selecione um Nível de Acesso Privado : account .
    8. Clique em Adicionar configurações de acesso privado .
    9. Agora em seu workspace, clique em Configurações avançadas para ver campos adicionais.
    10. Na dropdown PrivateLink , escolha o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.
    11. Clique em Salvar .

Para concluir a configuração do PrivateLink, configure as definições de DNS personalizadas para encaminhar o tráfego através do seu endpoint VPC . Para obter instruções detalhadas, consulte Configurar DNS para o link privado de entrada da AWS.

o passo 5: Verificar a conectividade da rede​

Teste a conectividade do seu cliente para verificar se o PrivateLink de entrada está configurado corretamente.

Verificar resolução de DNS​

Confirme se as consultas DNS resolvem para o endereço IP privado do endpoint da VPC que você criou anteriormente:

Bash
dig <region>.service-direct.privatelink.cloud.databricks.com

Ou use nslookup como alternativa:

Bash
nslookup <region>.service-direct.privatelink.cloud.databricks.com

Ambos os comandos devem retornar o endereço IP privado do seu endpoint VPC .

Teste a conectividade básica.​

Verifique se você consegue se conectar ao endpoint do PrivateLink:

Bash
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443

A verificação 443 apenas confirma que o endpoint da VPC está acessível. Não é o caminho de dados para o Lakebase Autoscaling, que usa Postgres na porta 5432. Para validar a conectividade do Lakebase Autoscaling, teste a porta Postgres em relação ao seu host do Lakebase: nc -vz <lakebase-host> 5432.

Se a conexão for bem-sucedida, você configurou seu PrivateLink de entrada corretamente. Para testes de conectividade específicos do produto (como Zerobus Ingest ou Lakebase Autoscaling), consulte a documentação desses serviços.

Limitações​

Esteja ciente das seguintes limitações:

  • Limite de endpoint de VPC: O limite default para endpoints de VPC de qualquer tipo é de 110 por account. Se você precisar de um aumento de cota, entre em contato com sua equipe de account da Databricks.
  • Restrições de zona de disponibilidade: algumas regiões da AWS oferecem suporte ao PrivateLink apenas em zonas de disponibilidade específicas. Consulte Suporte para zona de disponibilidade.
  • Restrições de compute clássico: ao acessar o PrivateLink de entrada de um recurso de compute clássico padrão, o sistema bloqueia o tráfego para endereços IP no CIDR do seu workspace, exceto nas portas 80, 443 e 53. Esta restrição se aplica apenas quando você cria o VPC endpoint dentro da VPC do seu workspace. Para contornar essa limitação, crie o endpoint VPC em uma VPC separada e configure o peering VPC entre as duas VPCs.

Suporte à zona de disponibilidade​

Algumas regiões AWS oferecem suporte ao PrivateLink para serviços que exigem alto desempenho, mas apenas em zonas de disponibilidade específicas. Se a sua implantação estiver em uma das seguintes regiões, certifique-se de que as sub-redes dos seus endpoint VPC estejam nas zonas de disponibilidade compatíveis:

Região

Zonas de disponibilidade suportadas

ap-northeast-1

apne1-az1, apne1-az2, apne1-az4

ap-northeast-2

apne2-az1, apne2-az3

us-east-1

use1-az1, use1-az2, use1-az4

us-west-2

usw2-az1, usw2-az2, usw2-az3

Região

Zonas de disponibilidade suportadas

ap-northeast-1

apne1-az1, apne1-az2, apne1-az4

ap-northeast-2

apne2-az1, apne2-az3

us-east-1

use1-az1, use1-az2, use1-az4

us-west-2

usw2-az1, usw2-az2, usw2-az3

Todas as outras regiões suportadas permitem qualquer zona de disponibilidade.

Recursos adicionais​

Nesta página