Configure o PrivateLink de entrada para serviços de alto desempenho
Esta página mostra como configurar o PrivateLink para conectividade de entrada a serviços que exigem alto desempenho na plataforma Databricks . Essa conexão privada permite que clientes e usuários externos acessem serviços na plataforma Databricks , como o Zerobus Ingest e o dimensionamento automático do Lakebase.
Um endpoint VPC de Serviço Direto é separado do endpoint VPC de entrada que serve a UI e as APIs do workspace. Para conectar-se de forma privada a ambos, crie dois Endpoint VPC, cada um com sua própria configuração de DNS:
- Um endpoint de workspace para a UI e as APIs, que usam domínios
*.privatelink.cloud.databricks.com. Consulte Configurar PrivateLink de entrada para Workspace e Configurar DNS para Private Link de entrada da AWS. - Um endpoint de Serviço Direto para serviços de alto desempenho, que usa o domínio
<region>.service-direct.privatelink.cloud.databricks.com. Esta página cobre esse endpoint.
Se os seus clientes de autoscale do Lakebase se conectarem através do endpoint de VPC do seu workspace hoje, adicione um endpoint de VPC de Serviço Direto e seu registro DNS para movê-los. O seu endpoint de VPC do workspace continua a servir a UI e as APIs do workspace.
Benefícios
- Segurança aprimorada: o tráfego entre sua rede e os serviços Databricks permanece dentro da infraestrutura de rede da AWS.
- Acesso a serviços de desempenho intenso: conexões privadas a serviços como Zerobus Ingest e o autoscale do Lakebase.
- Requisitos de compliance: Cumpra os requisitos regulatórios que impõem conectividade de rede privada.
- Eficiência de custo: O PrivateLink custa menos do que opções de conectividade pública, como gateways NAT.
A Databricks cobra por determinados custos de rede associados às conexões PrivateLink de entrada para serviços de alto desempenho. Para obter mais informações, consulte Entenda os custos de rede do Databricks.
Requisitos
- Sua account Databricks precisa ser do plano Enterprise.
- Você precisa ser um administrador account Databricks para registrar o endpoint VPC e gerenciar as configurações de acesso privado.
- Você precisa ter permissões na AWS para criar um endpoint VPC .
- Sua região da AWS deve ser compatível com PrivateLink de entrada para serviços que exigem alto desempenho. Consulte Disponibilidade de recursos de segurança. Para serviços de Endpoint de VPC regionais, consulte PrivateLink Endpoint de VPC serviço.
Configurar PrivateLink de entrada
Criar VPC Endpoint
Para criar um endpoint VPC de entrada no Console de Gerenciamento AWS :
-
Acesse a seção endpoints de VPC do Console de gerenciamento da AWS.
-
No canto superior direito, defina a região para a mesma região da sua VPC de trânsito.
-
Clique em Criar ponto de extremidade .
-
Ao nomear o endpoint, a Databricks recomenda incluir a região e a finalidade, como
databricks-us-west-2-inbound-pl-vpce. -
Em Categoria de serviço , selecione o serviço de endpoint que usa NLBs e GWLBs .
-
No campo "Nome do serviço", cole o nome do serviço correspondente à sua região. Use a tabela no serviço endpoint VPC do PrivateLink para encontrar os nomes dos serviços PrivateLink de entrada (rótulo Inbound private link for desempenho-intensive serviço in the table).
-
Clique em Verificar serviço e verifique se o nome do serviço verificado aparece em uma caixa verde. Se você encontrar um erro que indica "o nome do serviço não pôde ser verificado", verifique se as regiões da sua VPC, sub-redes e o novo endpoint VPC correspondem corretamente.
-
Em VPC , selecione sua VPC de trânsito.
-
Em Sub-redes , selecione uma sub-rede. Se você estiver implantando em
ap-northeast-1,ap-northeast-2,us-east-1ouus-west-2, verifique se você está usando apenas as zonas de disponibilidade compatíveis. Consulte Restrições de zona de disponibilidade para serviços com uso intensivo de desempenho. -
Na seção Grupos de segurança , selecione o grupo de segurança que você criou para conexões de entrada.
-
(Opcional) Ative os nomes DNS privados para o endpoint da VPC.
Recomendamos que você não habilite nomes DNS privados neste passo. A habilitação do DNS privado roteia imediatamente o tráfego pelo PrivateLink, mas as solicitações são rejeitadas até que você conclua o registro e a configuração do VPC endpoint nos passos seguintes. Em vez disso, configure o DNS após concluir a configuração, em Configurar DNS para PrivateLink de entrada.
-
Clique em Criar terminal .
-
Registre as seguintes informações para os passos posteriores:
- O ID endpoint VPC
- O endereço IPv4 do endpoint da VPC na sub-rede que você selecionou.
The security group that you select for inbound connections must allow the inbound traffic for the service you connect to over the VPC endpoint:
- Lakebase Autoscaling: Allow inbound TCP from the security groups or CIDR ranges of the clients that connect, on the port(s) matching how they connect: 5432 for Postgres wire traffic (
psql, Postgres drivers, and ORMs) and 443 for Data API and other HTTPS-based clients. Both use the same regional ingress. - Zerobus Ingest: Allow inbound TCP on port 443.
You do not need to configure outbound rules. Security groups are stateful, so response traffic for an allowed inbound connection is permitted automatically.
Registrar VPC endpoints
Após criar seu endpoint VPC no Console de Gerenciamento AWS , registre-o no Databricks. Não é possível atualizar uma configuração de rede depois de criá-la. Siga estes passos para registrar seu endpoint VPC :
-
Acesse o console account Databricks .
-
Clique em Segurança na barra lateral.
-
Clique em Endpoints privados na navegação vertical.
-
Clique em Registrar um endpoint privado .
-
Insira um nome descritivo para o registro do seu endpoint VPC.
- Recomenda-se uma convenção de nomenclatura que inclua a região e a finalidade, como
VPCE us-west-2 for Service-Direct.
- Recomenda-se uma convenção de nomenclatura que inclua a região e a finalidade, como
-
Selecione a região apropriada. A região deve corresponder à sua região de workspace e à região do endpoint VPC da AWS que você está registrando.
-
Cole o ID do endpoint da VPC da AWS no campo ID do endpoint da VPC da AWS .
-
Clique em Registrar novo VPC endpoint .
Se você usar o compute clássico e tiver vários Workspace que compartilham a mesma VPC gerenciada pelo cliente, poderá compartilhar Endpoint de AWS VPC entre eles. Para várias contas do Databricks, você pode registrar o endpoint da AWS VPC em cada conta.
Configurar política de acesso privado
Após o registro do seu Endpoint VPC do serviço Direct, há duas maneiras de configurar uma política de acesso privado para seu Workspace: com ingress baseada em contexto ou com configurações de acesso privado. Usar a abordagem de ingress baseada em contexto permite que você configure o acesso granular combinando identidade, tipo de solicitação e condições de origem. Consulte Controle de entrada baseado em contexto. As configurações de acesso privado são políticas tudo ou nada vinculadas à região.
Para que o tráfego seja permitido, as configurações de acesso privado e o ingresso baseado em contexto devem permitir o endpoint. Por default, o ingresso baseado em contexto é definido como Permitir acesso de todos os Endpoint privados , o que adia a decisão de acesso para a configuração de acesso privado do Workspace. Se você quiser configurar políticas de acesso privado baseadas em contexto, verifique se o seu Workspace tem uma configuração de acesso privado anexada, com todos os Endpoint privados registrados permitidos (veja mais abaixo). Isso adia a decisão de acesso para a política de ingresso baseada em contexto do seu workspace. Você pode reutilizar a mesma configuração de acesso privado "permitir todo o acesso" em qualquer workspace na mesma região.
- Method 1: Context-based ingress
- Method 2: Private access settings
-
No console de contas, clique em **Segurança** na barra lateral.
-
Clique em **Controle de entrada e saída baseado em contexto** na barra lateral.
-
Em **Políticas de nível de workspace**, clique em **Nova política de workspace**.
-
Em entrada > acesso à rede privada , defina sua política de acesso privado.
- Por default, todos os endpoints registrados são permitidos: Permitir acesso de todos os endpoints privados . Se isso for aceitável, prossiga para o próximo passo. Este default inclui apenas os primeiros 200 endpoints de VPC registrados; se sua política exigir mais, entre em contato com sua equipe de account para solicitar um aumento.
- Se você deseja permitir endpoints registrados específicos enquanto nega todos os outros endpoints, desmarque Permitir acesso de todos os endpoints privados e adicione uma regra de permissão.
- Selecione as identidades e os destinos do workspace aos quais você deseja permitir acesso (por default, todos são permitidos).
- Em seguida, selecione o tipo de origem = Endpoints privados selecionados e selecione o(s) endpoint(s) de VPC do Serviço Direto que você registrou. A região deste endpoint VPC deve corresponder à região do seu workspace. Um endpoint do Serviço Direto só pode atender workspaces na mesma região.
- Clique em Confirmar .
- Você também pode adicionar regras de negação à sua política, que definem exceções às suas regras de permissão.
-
Quando terminar de configurar sua política de acesso privado, você também pode configurar sua política de acesso público em Entrada > Acesso à Rede Pública . É possível desabilitar todo o acesso IP público desmarcando **Permitir acesso de todos os IPs públicos**. A Databricks recomenda manter o acesso público habilitado durante o teste de sua configuração de DNS e desabilitá-lo após a finalização do DNS para impor conectividade privada exclusiva.
-
Teste sua política de entrada em modo de execução de teste primeiro, antes de mudá-la para Aplicada . As negações de acesso do modo de execução de teste são registradas na system table
system.access.inbound_network, mas não bloquearão o acesso. -
Certifique-se de que sua política de saída esteja correta.
-
Anexe sua política ao seu workspace.
-
Salve sua política de rede. As atualizações da política de entrada baseadas em contexto geralmente entram em vigor em menos de 10 minutos. Você pode usar uma política de rede por Workspace ou compartilhar uma única política entre Workspace que usam as mesmas regras de entrada e saída, de modo que você a define uma vez e a anexa em qualquer lugar.
-
Anexe uma configuração de acesso privado de "permitir todo o acesso" ao seu workspace. Workspaces sem configurações de acesso privado anexadas têm todo o acesso privado negado, independentemente da política de rede.
- No console de contas, clique em **Segurança** na barra lateral.
- Clique em Configurações de acesso privado na barra lateral.
- Clique em Adicionar configurações de acesso privado .
- Digite um nome para seu novo objeto de configurações de acesso privado.
- Selecione uma região que corresponda à região do seu workspace .
- Configure o campo Acesso público para Governado por suas políticas de ingresso do Databricks .
- Selecione um Nível de Acesso Privado : account .
- Clique em Adicionar configurações de acesso privado .
- Agora em seu workspace, clique em Configurações avançadas para ver campos adicionais.
- Na dropdown PrivateLink , escolha o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.
- Clique em Salvar .
-
Como administrador da conta, faça login no console da conta.
-
Na barra lateral, clique em Segurança > Configurações de acesso privado .
-
Clique em Adicionar configurações de acesso privado .
-
Digite um nome para seu novo objeto de configurações de acesso privado.
-
Selecione uma região que corresponda à região do seu workspace .
-
Configure o campo Acesso público :
- Bloquear acesso à rede pública : A conexão de entrada é acessível exclusivamente por meio de PrivateLink, bloqueando o acesso à internet pública.
- Governado pelas suas políticas de entrada do Databricks : A conexão de entrada pode ser acessada por meio do PrivateLink e da internet pública.
O Databricks recomenda começar com Regido por suas políticas de entrada do Databricks ao testar sua configuração de DNS e, em seguida, mudar para Bloquear acesso à rede pública durante uma janela de manutenção para aplicar a conectividade privada exclusiva.
-
Selecione um nível de acesso privado :
- conta : Limitar conexões ao endpoint VPC registrado em sua account Databricks .
- endpoint : Limitar conexões a um conjunto explícito de endpoints VPC . Inclua o registro do seu endpoint VPC de entrada.
-
Clique em Adicionar configurações de acesso privado .
-
Agora em seu workspace, clique em Configurações avançadas para ver campos adicionais.
-
Na dropdown PrivateLink , escolha o nome do objeto de configurações de acesso privado que você criou nas etapas anteriores.
-
Clique em Salvar .
-
Após criar ou atualizar um workspace, aguarde até que ele esteja disponível antes de usar ou criar compute.
O estado workspace permanece
RUNNINGe a alteração VPC ocorre imediatamente. No entanto, você não poderá usar ou criar compute por mais 20 minutos. Se você tentar criar ou usar compute antes do término desse intervalo, o compute poderá não ser iniciado ou apresentar outros comportamentos inesperados.
Configurar DNS para PrivateLink de entrada
Para concluir sua configuração do PrivateLink, aponte o domínio de serviços de alto desempenho da sua região para o endpoint de VPC do Service Direct. Este domínio tem o seguinte formato:
<region>.service-direct.privatelink.cloud.databricks.com
Replace <region> with your workspace's AWS Region code, such as us-east-1 or us-west-2. Use the AWS Region code, not the Databricks region name.
Route only the <region>.service-direct.privatelink.cloud.databricks.com domain to your Service Direct VPC endpoint. Do not route the wildcard *.privatelink.cloud.databricks.com. That wildcard also matches workspace (front-end) PrivateLink domains, such as <region>.privatelink.cloud.databricks.com, so routing it to your Service Direct endpoint breaks all inbound connectivity to your workspace.
Configure o DNS usando uma das seguintes abordagens:
- Ative o DNS privado no endpoint de VPC (recomendado). Após registrar o endpoint de VPC, edite-o no AWS Management Console e ative Private DNS names . A AWS resolve
<region>.service-direct.privatelink.cloud.databricks.compara o seu endpoint automaticamente, com escopo voltado para o domínio de serviços de alto desempenho. Ative isso somente após a conclusão do registro, pois as solicitações serão rejeitadas até lá. - Crie um registro DNS manualmente. Em uma zona hospedada privada com escopo para
service-direct.privatelink.cloud.databricks.com(e não para oprivatelink.cloud.databricks.commais amplo), crie um registro que resolva<region>.service-direct.privatelink.cloud.databricks.compara o endereço IP privado do seu endpoint de VPC do serviço Direct.
Verificar conectividade de rede
Teste a conectividade do seu cliente para verificar se o PrivateLink de entrada está configurado corretamente.
Verificar resolução de DNS
Confirme se as consultas DNS resolvem para o endereço IP privado do endpoint da VPC que você criou anteriormente:
dig <region>.service-direct.privatelink.cloud.databricks.com
Ou use nslookup como alternativa:
nslookup <region>.service-direct.privatelink.cloud.databricks.com
Ambos os comandos devem retornar o endereço IP privado do seu endpoint VPC .
Teste a conectividade básica.
Verifique se você consegue se conectar ao endpoint do PrivateLink:
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443
A verificação 443 em relação ao hostname do endpoint confirma apenas que o endpoint da VPC está acessível; ela não exercita o Lakebase. Para o Lakebase Autoscaling, teste a porta relevante em relação ao seu host Lakebase: nc -vz <lakebase-host> 5432 (Postgres wire) ou nc -vz <lakebase-host> 443 (Data API e outros clientes baseados em HTTPS).
Se a conexão for bem-sucedida, você configurou seu PrivateLink de entrada corretamente. Para testes de conectividade específicos do produto (como Zerobus Ingest ou Lakebase Autoscaling), consulte a documentação desses serviços.
Limitações
Esteja ciente das seguintes limitações:
- Limite de endpoint de VPC: O limite default para endpoints de VPC de qualquer tipo é de 110 por account. Se você precisar de um aumento de cota, entre em contato com sua equipe de account da Databricks.
- Restrições de zona de disponibilidade: Algumas regiões da AWS suportam PrivateLink apenas em zonas de disponibilidade específicas. Consulte Restrições de zona de disponibilidade para serviços com uso intensivo de desempenho.
- Restrições de compute clássico: ao acessar o PrivateLink de entrada de um recurso de compute clássico padrão, o sistema bloqueia o tráfego para endereços IP no CIDR do seu workspace, exceto nas portas 53, 80, 443 e 5432. Esta restrição se aplica apenas quando você cria o endpoint de VPC dentro da VPC do seu workspace. Para contornar essa limitação, crie o endpoint de VPC em uma VPC separada e configure o peering de VPC entre as duas VPCs.
Recursos adicionais
-
- Serviço endpoint VPC PrivateLink
- Saiba mais sobre os IPs e domínios disponíveis para cada região.
-
- Configure a conectividade privada clássica com o Databricks.
- Saiba como configurar o AWS PrivateLink para um Databricks workspace.