Pular para o conteúdo principal

Configure o PrivateLink de entrada para serviços de alto desempenho

Esta página mostra como configurar o PrivateLink para conectividade de entrada a serviços que exigem alto desempenho na plataforma Databricks . Essa conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks , como o Zerobus Ingest e o dimensionamento automático do Lakebase.

Um endpoint VPC de Serviço Direto é separado do endpoint VPC de entrada que serve a UI e as APIs do workspace. Para conectar-se de forma privada a ambos, crie dois Endpoint VPC, cada um com sua própria configuração de DNS:

Se os seus clientes de autoscale do Lakebase se conectarem através do endpoint de VPC do seu workspace hoje, adicione um endpoint de VPC de Serviço Direto e seu registro DNS para movê-los. O seu endpoint de VPC do workspace continua a servir a UI e as APIs do workspace.

Benefícios​

  • Segurança aprimorada: o tráfego entre sua rede e os serviços Databricks permanece dentro da infraestrutura de rede da AWS.
  • Acesso a serviços de desempenho intenso: conexões privadas a serviços como Zerobus Ingest e o autoscale do Lakebase.
  • Requisitos de compliance: Cumpra os requisitos regulatórios que impõem conectividade de rede privada.
  • Eficiência de custo: O PrivateLink custa menos do que opções de conectividade pública, como gateways NAT.

A Databricks cobra por determinados custos de rede associados às conexões PrivateLink de entrada para serviços de alto desempenho. Para obter mais informações, consulte Entenda os custos de rede do Databricks.

Requisitos​

  • Sua account Databricks precisa ser do plano Enterprise.
  • Você precisa ser um administrador account Databricks para registrar o endpoint VPC e gerenciar as configurações de acesso privado.
  • Você precisa ter permissões na AWS para criar um endpoint VPC .
  • Sua região da AWS deve ser compatível com PrivateLink de entrada para serviços que exigem alto desempenho. Consulte Disponibilidade de recursos de segurança. Para serviços de Endpoint de VPC regionais, consulte PrivateLink Endpoint de VPC serviço.

Criar VPC Endpoint​

Para criar um endpoint VPC de entrada no Console de Gerenciamento AWS :

  1. Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.

  2. No canto superior direito, defina a região para a mesma região da sua VPC de trânsito.

  3. Clique em Criar ponto de extremidade .

  4. Ao nomear o endpoint, a Databricks recomenda incluir a região e a finalidade, como databricks-us-west-2-inbound-pl-vpce.

  5. Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .

  6. No campo "Nome do serviço", cole o nome do serviço correspondente à sua região. Use a tabela no serviço endpoint VPC do PrivateLink para encontrar os nomes dos serviços PrivateLink de entrada (rótulo Inbound private link for desempenho-intensive serviço in the table).

  7. Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que indica "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem corretamente.

  8. Em VPC , selecione sua VPC de trânsito.

  9. Em Sub-redes , selecione uma sub-rede. Se você estiver implantando em ap-northeast-1, ap-northeast-2, us-east-1 ou us-west-2, verifique se você está usando apenas as zonas de disponibilidade compatíveis. Consulte Restrições de zona de disponibilidade para serviços com uso intensivo de desempenho.

  10. Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões de entrada.

  11. (Opcional) Ative os nomes DNS privados para o endpoint da VPC.

atenção

Recomendamos que você não habilite nomes DNS privados neste passo. A habilitação do DNS privado roteia imediatamente o tráfego pelo PrivateLink, mas as solicitações são rejeitadas até que você conclua o registro e a configuração do VPC endpoint nos passos seguintes. Em vez disso, configure o DNS após concluir a configuração, em Configurar DNS para PrivateLink de entrada.

  1. Clique em Criar terminal .

  2. Registre as seguintes informações para os passos posteriores:

    • O ID endpoint VPC
    • O endereço IPv4 do endpoint da VPC na sub-rede que você selecionou.
nota

The security group that you select for inbound connections must allow the inbound traffic for the service you connect to over the VPC endpoint:

  • Lakebase Autoscaling: Allow inbound TCP from the security groups or CIDR ranges of the clients that connect, on the port(s) matching how they connect: 5432 for Postgres wire traffic (psql, Postgres drivers, and ORMs) and 443 for Data API and other HTTPS-based clients. Both use the same regional ingress.
  • Zerobus Ingest: Allow inbound TCP on port 443.

You do not need to configure outbound rules. Security groups are stateful, so response traffic for an allowed inbound connection is permitted automatically.

Registrar VPC endpoints​

Após criar seu endpoint VPC no Console de Gerenciamento AWS , registre-o no Databricks. Não é possível atualizar uma configuração de rede depois de criá-la. Siga estes passos para registrar seu endpoint VPC :

  1. Acesse o console account Databricks .

  2. Clique em Segurança na barra lateral.

  3. Clique em Endpoints privados na navegação vertical.

  4. Clique em Registrar um endpoint privado .

  5. Insira um nome descritivo para o registro do seu endpoint VPC.

    • Recomenda-se uma convenção de nomenclatura que inclua a região e a finalidade, como VPCE us-west-2 for Service-Direct.
  6. Selecione a região apropriada. A região deve corresponder à sua região de workspace e à região do endpoint VPC da AWS que você está registrando.

  7. Cole o ID do endpoint da VPC da AWS no campo ID do endpoint da VPC da AWS .

  8. Clique em Registrar novo VPC endpoint .

Se você usar o compute clássico e tiver vários Workspace que compartilham a mesma VPC gerenciada pelo cliente, poderá compartilhar Endpoint de AWS VPC entre eles. Para várias contas do Databricks, você pode registrar o endpoint da AWS VPC em cada conta.

Configurar política de acesso privado​

Após o registro do seu Endpoint VPC do serviço Direct, há duas maneiras de configurar uma política de acesso privado para seu Workspace: com ingress baseada em contexto ou com configurações de acesso privado. Usar a abordagem de ingress baseada em contexto permite que você configure o acesso granular combinando identidade, tipo de solicitação e condições de origem. Consulte Controle de entrada baseado em contexto. As configurações de acesso privado são políticas tudo ou nada vinculadas à região.

Para que o tráfego seja permitido, as configurações de acesso privado e o ingresso baseado em contexto devem permitir o endpoint. Por default, o ingresso baseado em contexto é definido como Permitir acesso de todos os Endpoint privados , o que adia a decisão de acesso para a configuração de acesso privado do Workspace. Se você quiser configurar políticas de acesso privado baseadas em contexto, verifique se o seu Workspace tem uma configuração de acesso privado anexada, com todos os Endpoint privados registrados permitidos (veja mais abaixo). Isso adia a decisão de acesso para a política de ingresso baseada em contexto do seu workspace. Você pode reutilizar a mesma configuração de acesso privado "permitir todo o acesso" em qualquer workspace na mesma região.

  1. No console de contas, clique em **Segurança** na barra lateral.

  2. Clique em **Controle de entrada e saída baseado em contexto** na barra lateral.

  3. Em **Políticas de nível de workspace**, clique em **Nova política de workspace**.

  4. Em entrada > acesso à rede privada , defina sua política de acesso privado.

    1. Por default, todos os endpoints registrados são permitidos: Permitir acesso de todos os endpoints privados . Se isso for aceitável, prossiga para o próximo passo. Este default inclui apenas os primeiros 200 endpoints de VPC registrados; se sua política exigir mais, entre em contato com sua equipe de account para solicitar um aumento.
    2. Se você deseja permitir endpoints registrados específicos enquanto nega todos os outros endpoints, desmarque Permitir acesso de todos os endpoints privados e adicione uma regra de permissão.
      1. Selecione as identidades e os destinos do workspace aos quais você deseja permitir acesso (por default, todos são permitidos).
      2. Em seguida, selecione o tipo de origem = Endpoints privados selecionados e selecione o(s) endpoint(s) de VPC do Serviço Direto que você registrou. A região deste endpoint VPC deve corresponder à região do seu workspace. Um endpoint do Serviço Direto só pode atender workspaces na mesma região.
      3. Clique em Confirmar .
      4. Você também pode adicionar regras de negação à sua política, que definem exceções às suas regras de permissão.
  5. Quando terminar de configurar sua política de acesso privado, você também pode configurar sua política de acesso público em Entrada > Acesso à Rede Pública . É possível desabilitar todo o acesso IP público desmarcando **Permitir acesso de todos os IPs públicos**. A Databricks recomenda manter o acesso público habilitado durante o teste de sua configuração de DNS e desabilitá-lo após a finalização do DNS para impor conectividade privada exclusiva.

  6. Teste sua política de entrada em modo de execução de teste primeiro, antes de mudá-la para Aplicada . As negações de acesso do modo de execução de teste são registradas na system table system.access.inbound_network, mas não bloquearão o acesso.

  7. Certifique-se de que sua política de saída esteja correta.

  8. Anexe sua política ao seu workspace.

  9. Salve sua política de rede. As atualizações da política de entrada baseadas em contexto geralmente entram em vigor em menos de 10 minutos. Você pode usar uma política de rede por Workspace ou compartilhar uma única política entre Workspace que usam as mesmas regras de entrada e saída, de modo que você a define uma vez e a anexa em qualquer lugar.

  10. Anexe uma configuração de acesso privado de "permitir todo o acesso" ao seu workspace. Workspaces sem configurações de acesso privado anexadas têm todo o acesso privado negado, independentemente da política de rede.

    1. No console de contas, clique em **Segurança** na barra lateral.
    2. Clique em Configurações de acesso privado na barra lateral.
    3. Clique em Adicionar configurações de acesso privado .
    4. Digite um nome para seu novo objeto de configurações de acesso privado.
    5. Selecione uma região que corresponda à região do seu workspace .
    6. Configure o campo Acesso público para Governado por suas políticas de ingresso do Databricks .
    7. Selecione um Nível de Acesso Privado : account .
    8. Clique em Adicionar configurações de acesso privado .
    9. Agora em seu workspace, clique em Configurações avançadas para ver campos adicionais.
    10. Na dropdown PrivateLink , escolha o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.
    11. Clique em Salvar .

Para concluir sua configuração do PrivateLink, aponte o domínio de serviços de alto desempenho da sua região para o endpoint de VPC do Service Direct. Este domínio tem o seguinte formato:

<region>.service-direct.privatelink.cloud.databricks.com

Replace <region> with your workspace's AWS Region code, such as us-east-1 or us-west-2. Use the AWS Region code, not the Databricks region name.

atenção

Route only the <region>.service-direct.privatelink.cloud.databricks.com domain to your Service Direct VPC endpoint. Do not route the wildcard *.privatelink.cloud.databricks.com. That wildcard also matches workspace (front-end) PrivateLink domains, such as <region>.privatelink.cloud.databricks.com, so routing it to your Service Direct endpoint breaks all inbound connectivity to your workspace.

Configure o DNS usando uma das seguintes abordagens:

  • Ative o DNS privado no endpoint de VPC (recomendado). Após registrar o endpoint de VPC, edite-o no AWS Management Console e ative Private DNS names . A AWS resolve <region>.service-direct.privatelink.cloud.databricks.com para o seu endpoint automaticamente, com escopo voltado para o domínio de serviços de alto desempenho. Ative isso somente após a conclusão do registro, pois as solicitações serão rejeitadas até lá.
  • Crie um registro DNS manualmente. Em uma zona hospedada privada com escopo para service-direct.privatelink.cloud.databricks.com (e não para o privatelink.cloud.databricks.com mais amplo), crie um registro que resolva <region>.service-direct.privatelink.cloud.databricks.com para o endereço IP privado do seu endpoint de VPC do serviço Direct.

Verificar conectividade de rede​

Teste a conectividade do seu cliente para verificar se o PrivateLink de entrada está configurado corretamente.

Verificar resolução de DNS​

Confirme se as consultas DNS resolvem para o endereço IP privado do endpoint da VPC que você criou anteriormente:

Bash
dig <region>.service-direct.privatelink.cloud.databricks.com

Ou use nslookup como alternativa:

Bash
nslookup <region>.service-direct.privatelink.cloud.databricks.com

Ambos os comandos devem retornar o endereço IP privado do seu endpoint VPC .

Teste a conectividade básica.​

Verifique se você consegue se conectar ao endpoint do PrivateLink:

Bash
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443

A verificação 443 em relação ao hostname do endpoint confirma apenas que o endpoint da VPC está acessível; ela não exercita o Lakebase. Para o Lakebase Autoscaling, teste a porta relevante em relação ao seu host Lakebase: nc -vz <lakebase-host> 5432 (Postgres wire) ou nc -vz <lakebase-host> 443 (Data API e outros clientes baseados em HTTPS).

Se a conexão for bem-sucedida, você configurou seu PrivateLink de entrada corretamente. Para testes de conectividade específicos do produto (como Zerobus Ingest ou Lakebase Autoscaling), consulte a documentação desses serviços.

Limitações​

Esteja ciente das seguintes limitações:

  • Limite de endpoint de VPC: O limite default para endpoints de VPC de qualquer tipo é de 110 por account. Se você precisar de um aumento de cota, entre em contato com sua equipe de account da Databricks.
  • Restrições de zona de disponibilidade: Algumas regiões da AWS suportam PrivateLink apenas em zonas de disponibilidade específicas. Consulte Restrições de zona de disponibilidade para serviços com uso intensivo de desempenho.
  • Restrições de compute clássico: ao acessar o PrivateLink de entrada de um recurso de compute clássico padrão, o sistema bloqueia o tráfego para endereços IP no CIDR do seu workspace, exceto nas portas 53, 80, 443 e 5432. Esta restrição se aplica apenas quando você cria o endpoint de VPC dentro da VPC do seu workspace. Para contornar essa limitação, crie o endpoint de VPC em uma VPC separada e configure o peering de VPC entre as duas VPCs.

Recursos adicionais​