Configurar conectividade privada com a AWS - gerenciar recurso

info

Visualização

Esse recurso está em Public Preview. Para join essa visualização, entre em contato com a equipe Databricks account .

nota

Databricks cobra custos de rede quando cargas de trabalho serverless se conectam ao recurso do cliente e quando serviços com uso intensivo de desempenho enviam dados de saída entre regiões de volta para os clientes. Consulte Compreender os custos de rede do Databricks.

Esta página explica como configurar a conectividade privada de compute serverless para recursos de gerenciamento da AWS usando a interface do usuário do console account Databricks .

A configuração da conectividade privada para serverless compute fornece:

• Uma conexão dedicada e privada: Garante acesso seguro e isolado entre seu espaço de trabalho serverless e o recurso AWS , limitando o acesso apenas a conexões autorizadas.
• Mitigação aprimorada da exfiltração de dados: Embora o serverless compute com Unity Catalog forneça proteção integrada contra a exfiltração de dados, o PrivateLink acrescenta uma camada extra de defesa de rede. Usando o AWS PrivateLink, seu tráfego de dados permanece inteiramente na rede da AWS, nunca atravessando a Internet pública. Essa arquitetura, combinada com o acesso controlado por meio do endpoint VPC, reduz a superfície de ataque para a exfiltração de dados.

nota

O acesso ao plano de controle do Databricks é usado para determinadas operações de metadados, enquanto o endpoint VPC dedicado configurado neste procedimento lida com o acesso ao recurso da AWS. Se você também permitir o acesso ao recurso a partir da rede da sua empresa, inclua os IPs da VPN corporativa na política do recurso.

nota

Ao acessar um bucket S3 por meio desta conexão privada, como de um Notebook ou consulta, faça referência ao bucket usando seu DNS regional, como {your-s3-bucket}.s3.{region}.amazonaws.com. Pontos de extremidade globais legados como {your-s3-bucket}.s3.amazonaws.com não são suportados.

Recurso suportado

A conectividade privada a partir de compute serverless suporta o seguinte recurso de gerenciamento da AWS:

Recursos	DNS de ponto final
Rocha matriz	bedrock.{region}.amazonaws.com
Agente de Base	bedrock-agent.{region}.amazonaws.com
Runtimedo agente Bedrock	bedrock-agent-runtime.{region}.amazonaws.com
Runtimedo Bedrock	bedrock-runtime.{region}.amazonaws.com
DynamoDB	dynamodb.{region}.amazonaws.com
EMR	elasticmapreduce.{region}.amazonaws.com
Glue	glue.{region}.amazonaws.com
serviço de gerenciamento de chaves (KMS)	kms.{region}.amazonaws.com
Lambda	lambda.{region}.amazonaws.com
RDS	rds.{region}.amazonaws.com
API de dados RDS	rds-data.{region}.amazonaws.com
Desempenho RDS	pi.{region}.amazonaws.com
Redshift	redshift.{region}.amazonaws.com
API de dados Redshift	redshift-data.{region}.amazonaws.com
Redshift sem servidor	redshift-serverless.{region}.amazonaws.com
S3 (mesma região ou região cruzada)	s3.{region}.amazonaws.com
Gerente de Segredos	secretsmanager.{region}.amazonaws.com
Serviço de tokens de segurança (STS)	sts.{region}.amazonaws.com
Serviço de Notificação Simples (SNS)	sns.{region}.amazonaws.com
Serviço de fila simples (SQS)	sqs.{region}.amazonaws.com

nota

O S3 é o único recurso que suporta o escopo por bucket e a conectividade privada entre regiões. Para todos os outros recursos, o endpoint privado se aplica a todo o tráfego do espaço de trabalho conectado ao NCC que tem como alvo o tipo de recurso — não há escopo por instância.

nota

Ao acessar seu bucket S3 por meio desta conexão privada (por exemplo, de um Notebook ou consulta), faça referência ao bucket usando seu DNS regional, como {your-s3-bucket}.s3.{region}.amazonaws.com. Pontos de extremidade globais legados como {your-s3-bucket}.s3.amazonaws.com não são suportados.

Requisitos

• O site workspace está no plano Enterprise.
• Você é o account da sua account Databricks .
• O senhor tem pelo menos um workspace funcional usando serverless compute.
• Você possui as permissões apropriadas AWS IAM para criar e modificar a política do recurso da AWS e para criar o endpoint VPC .
• Cada Databricks account pode ter até 10 NCCs por região.
• Cada região pode ter 30 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
• Cada NCC pode ser conectado a até 50 espaços de trabalho.
• Para o S3, cada NCC pode ter uma regra de endpoint privado do S3 por região, e cada regra pode incluir até 100 nomes de buckets.

Passo 1: Criar um objeto de configurações de conectividade de rede (NCC)

O senhor pode pular esta etapa se tiver um NCC existente na mesma região e AWS account que deseja usar.

1. No consoleaccount, clique em Segurança .
2. Selecione a tab Configurações de conectividade de rede .
3. Selecione Adicionar configuração de rede .
4. Insira um nome para o NCC.
5. Selecione a região. Isso deve corresponder à região do seu workspace .
6. Clique em Adicionar .

Passo 2: Criar um endpointde interface AWS

importante

Não habilite o endpoint privado até que o senhor tenha concluído a Etapa 3.

1. Acesse a seção de regras de endpoint privado no seu NCC.
2. Selecione Add private endpoint rule (Adicionar regra de ponto de extremidade privado ).
3. Em Tipo de recurso , selecione o recurso AWS ao qual deseja se conectar (por exemplo, bucketS3 , Bedrock ou RDS ). Para obter a lista completa, consulte Recursos suportados.
4. Defina as configurações da regra:
   • Serviço de endpoint: Este campo é preenchido automaticamente para estabelecer a conexão com o recurso de destino do seu endpoint privado.
   • Nomes de bucketsS3 (somente S3 ): Insira os nomes dos buckets para o seu recurso de destino. Para todos os outros tipos de recurso, nenhum campo de nome de bucket ou recurso é exibido — o endpoint privado se aplica a todo o tráfego para o tipo de recurso selecionado.
   • Região (somente S3): Opcionalmente, especifique a região dos buckets S3 de destino. Se você não especificar uma região, será usada a região do NCC. Isso possibilita a conectividade privada S3 entre regiões.

Passo 3: Atualize a política de recursos para aceitar tráfego do endpointda VPC

Para permitir que compute serverless acesse o recurso AWS por meio do endpoint privado, talvez seja necessário atualizar a política do recurso em sua account AWS para permitir o tráfego do endpoint da VPC retornado na etapa 2. O mecanismo de política depende do tipo de recurso — por exemplo, S3 usa políticas de bucket, KMS usa políticas key e o Secrets Manager usa políticas de recurso de segredo. Consulte a documentação da AWS para obter informações sobre o seu recurso.

O exemplo a seguir mostra uma cláusula Allow para uma política de bucket S3:

JSON

{
  "Sid": "AllowVpcEndpointAccess",
  "Effect": "Allow",
  "Principal": "*",
  "Action": "s3:*",
  "Resource": ["arn:aws:s3:::{bucket-name}", "arn:aws:s3:::{bucket-name}/*"],
  "Condition": {
    "StringEquals": {
      "aws:SourceVpce": "vpce-12345" // This is the VPC endpoint returned in Step 2
    }
  }
}

Se sua política estiver configurada com uma cláusula Deny , você pode precisar adicionar uma condição de exceção para o ID endpoint VPC retornado na etapa 2. Um exemplo dessa condição é mostrado a seguir:

JSON

  {
    ...
    "Effect": "Deny",
    ...
    "Condition": {
      "StringNotEquals": {
        "aws:SourceVpce": "vpce-12345"
      }
    }
  }

nota

Esta política de exemplo não inclui outros endpoints públicos ou privados que você possa querer adicionar à lista de permissões, como IPs de VPN corporativa. O acesso ao plano de controle Databricks usa um endpoint VPC de gateway separado para operações de metadados — o endpoint VPC dedicado que você configurou lida apenas com o acesso ao recurso de destino.

Atualize a interface do usuário ou faça uma chamada para API para confirmar que o status da regra foi alterado para ESTABLISHED.

Etapa 4: Ativar a regra endpoint privada

1. Clique no botão do menu de kebab.
2. Clique em Atualizar regra .
3. Selecione Habilitar regra .

importante

Este procedimento encaminha o tráfego para o recurso AWS configurado através do PrivateLink para qualquer workspace conectado ao NCC. Antes de prosseguir, verifique se você concluiu a etapa 3 para permitir o acesso ao recurso a partir do endpoint VPC .

Etapa 5: Anexar o NCC a um ou mais espaços de trabalho

Esta etapa associa a conectividade privada configurada ao espaço de trabalho serverless. Pule esta etapa se o site workspace já estiver conectado ao NCC desejado. Para anexar o NCC a um workspace:

1. Acesse o espaço de trabalho na navegação à esquerda.
2. Selecione um site existente workspace.
3. Selecione Atualizar espaço de trabalho .
4. Em Configurações de conectividade de rede , selecione o menu suspenso e escolha o NCC que você criou.
5. Repita para todos os espaços de trabalho aos quais você gostaria que este NCC se aplicasse.

Etapa 6: Verificar a conectividade

A forma de verificar a conectividade depende do tipo de recurso. Para recursos diferentes do S3, simule o tráfego de um Notebook fazendo uma chamada ao recurso por meio do SDK AWS apropriado (por exemplo, uma invocação de modelo Bedrock ou uma chamada de função Lambda ) e, em seguida, verifique os logs de acesso do recurso para confirmar se a solicitação chega pelo endpoint VPC .

O exemplo a seguir testa a conectividade com um bucket S3 , registrando-o como um local externo e executando uma consulta:

1. registrar seu bucket como um local externo. Veja os locais externos.
2. Abra o editor SQL.
3. execução:

SQL

CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 's3://{your-s3-bucket}/test_connectivity'

Pode levar dez minutos para que a conexão seja totalmente estabelecida.

nota

Se a sua política de rede restringir o acesso externo, as conexões diretas aos FQDNs do seu bucket AWS S3, como {your-s3-bucket}.s3.{region}.amazonaws.com serão bloqueadas. Você deve adicionar explicitamente os FQDNs necessários aos domínios permitidos da sua política de rede para permitir esse acesso. Consulte as políticas de gerenciamento de rede para controle de saída serverless.

O acesso aos seus buckets S3 deve usar um endpoint regional como {your-s3-bucket}.s3.{region}.amazonaws.com. Não há suporte para endpoints legados, como {your-s3-bucket}.s3.amazonaws.com.

Próximos passos

• Configure a conectividade privada com o recurso AWS em sua VPC : Use o PrivateLink para estabelecer acesso seguro e isolado ao serviço AWS em sua VPC a partir do seu espaço de trabalho serverless , evitando a internet pública. Consulte Configurar conectividade privada ao recurso em sua VPC.
• Configure um firewall para acesso compute serverless : Configure seus firewalls de fonte de dados para permitir o tráfego do plano compute serverless Databricks . Consulte a configuração do firewall compute sem servidor.
• Entenda os custos de transferência de dados e conectividade : Transferência de dados e conectividade referem-se à movimentação de dados para dentro e para fora de ambientes serverless . As tarifas de rede para produtos serverless aplicam-se somente a clientes que utilizam compute serverless . Consulte Compreender os custos de rede do Databricks.