Configurar conectividade privada com a AWS - gerenciar recurso

info

Visualização

Esse recurso está em Public Preview. Para join essa visualização, entre em contato com a equipe Databricks account .

nota

Databricks cobra custos de rede quando cargas de trabalho serverless se conectam ao recurso do cliente e quando serviços com uso intensivo de desempenho enviam dados de saída entre regiões de volta para os clientes. Consulte Compreender os custos de rede do Databricks.

Esta página explica como configurar a conectividade privada de compute serverless para recursos de gerenciamento da AWS usando a interface do usuário do console account Databricks .

Conectividade privada com a AWS - geração de recursos.

A configuração da conectividade privada para serverless compute fornece:

Uma conexão dedicada e privada: Garante acesso seguro e isolado entre seu espaço de trabalho serverless e o recurso AWS , limitando o acesso apenas a conexões autorizadas.
Mitigação aprimorada da exfiltração de dados: Embora o serverless compute com Unity Catalog forneça proteção integrada contra a exfiltração de dados, o PrivateLink acrescenta uma camada extra de defesa de rede. Usando o AWS PrivateLink, seu tráfego de dados permanece inteiramente na rede da AWS, nunca atravessando a Internet pública. Essa arquitetura, combinada com o acesso controlado por meio do endpoint VPC, reduz a superfície de ataque para a exfiltração de dados.

nota

O VPC Endpoint dedicado configurado neste procedimento gerencia o acesso de compute Serverless ao recurso da AWS. O plano de controle do Databricks também acessa alguns recursos para operações de metadados. Para o S3, o Unity Catalog acessa seu bucket a partir do plano de controle, então sua política de bucket deve permitir o Unity Catalog além do Endpoint Serverless. Consulte o Passo 3. Se você também acessar o recurso de dentro da rede da sua empresa, inclua os IPs da VPN corporativa na política do recurso.

nota

Ao acessar um bucket S3 por meio desta conexão privada, como de um Notebook ou consulta, faça referência ao bucket usando seu DNS regional, como {your-s3-bucket}.s3.{region}.amazonaws.com. Pontos de extremidade globais legados como {your-s3-bucket}.s3.amazonaws.com não são suportados.

Recurso suportado

A conectividade privada a partir de compute serverless suporta o seguinte recurso de gerenciamento da AWS:

Recursos	DNS de ponto final
Rocha matriz	`bedrock.{region}.amazonaws.com`
Agente de Base	`bedrock-agent.{region}.amazonaws.com`
Runtimedo agente Bedrock	`bedrock-agent-runtime.{region}.amazonaws.com`
Runtimedo Bedrock	`bedrock-runtime.{region}.amazonaws.com`
DynamoDB	`dynamodb.{region}.amazonaws.com`
EMR	`elasticmapreduce.{region}.amazonaws.com`
Glue	`glue.{region}.amazonaws.com`
serviço de gerenciamento de chaves (KMS)	`kms.{region}.amazonaws.com`
Lambda	`lambda.{region}.amazonaws.com`
RDS	`rds.{region}.amazonaws.com`
API de dados RDS	`rds-data.{region}.amazonaws.com`
Desempenho RDS	`pi.{region}.amazonaws.com`
Redshift	`redshift.{region}.amazonaws.com`
API de dados Redshift	`redshift-data.{region}.amazonaws.com`
Redshift sem servidor	`redshift-serverless.{region}.amazonaws.com`
S3 (mesma região ou região cruzada)	`s3.{region}.amazonaws.com`
Gerente de Segredos	`secretsmanager.{region}.amazonaws.com`
Serviço de tokens de segurança (STS)	`sts.{region}.amazonaws.com`
Serviço de Notificação Simples (SNS)	`sns.{region}.amazonaws.com`
Serviço de fila simples (SQS)	`sqs.{region}.amazonaws.com`

Recursos	DNS de ponto final
Rocha matriz	`bedrock.{region}.amazonaws.com`
Agente de Base	`bedrock-agent.{region}.amazonaws.com`
Runtimedo agente Bedrock	`bedrock-agent-runtime.{region}.amazonaws.com`
Runtimedo Bedrock	`bedrock-runtime.{region}.amazonaws.com`
DynamoDB	`dynamodb.{region}.amazonaws.com`
EMR	`elasticmapreduce.{region}.amazonaws.com`
Glue	`glue.{region}.amazonaws.com`
serviço de gerenciamento de chaves (KMS)	`kms.{region}.amazonaws.com`
Lambda	`lambda.{region}.amazonaws.com`
RDS	`rds.{region}.amazonaws.com`
API de dados RDS	`rds-data.{region}.amazonaws.com`
Desempenho RDS	`pi.{region}.amazonaws.com`
Redshift	`redshift.{region}.amazonaws.com`
API de dados Redshift	`redshift-data.{region}.amazonaws.com`
Redshift sem servidor	`redshift-serverless.{region}.amazonaws.com`
S3 (mesma região ou região cruzada)	`s3.{region}.amazonaws.com`
Gerente de Segredos	`secretsmanager.{region}.amazonaws.com`
Serviço de tokens de segurança (STS)	`sts.{region}.amazonaws.com`
Serviço de Notificação Simples (SNS)	`sns.{region}.amazonaws.com`
Serviço de fila simples (SQS)	`sqs.{region}.amazonaws.com`

nota

O S3 é o único recurso que suporta o escopo por bucket e a conectividade privada entre regiões. Para todos os outros recursos, o endpoint privado se aplica a todo o tráfego do espaço de trabalho conectado ao NCC que tem como alvo o tipo de recurso — não há escopo por instância.
A conectividade privada com fontes de dados SAP BDC também é compatível. Para obter detalhes, consulte Criar e gerenciar o conector SAP Business Data Cloud (BDC).
Ao acessar seu bucket S3 por meio desta conexão privada (por exemplo, de um Notebook ou consulta), faça referência ao bucket usando seu DNS regional, como {your-s3-bucket}.s3.{region}.amazonaws.com. Pontos de extremidade globais legados como {your-s3-bucket}.s3.amazonaws.com não são suportados.

Requisitos

O site workspace está no plano Enterprise.
Você é o account da sua account Databricks .
O senhor tem pelo menos um workspace funcional usando serverless compute.
Você possui as permissões apropriadas AWS IAM para criar e modificar a política do recurso da AWS e para criar o endpoint VPC .
Cada Databricks account pode ter até 10 NCCs por região.
Cada região pode ter 30 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
Cada NCC pode ser conectado a até 50 espaços de trabalho.
Para o S3, cada NCC pode ter uma regra de endpoint privado do S3 por região, e cada regra pode incluir até 100 nomes de buckets.

Configurar conectividade privada

Crie um objeto de configurações de conectividade de rede (NCC)

O senhor pode pular esta etapa se tiver um NCC existente na mesma região e AWS account que deseja usar.

No consoleaccount, clique em Segurança .
Selecione a tab Configurações de conectividade de rede .
Selecione Adicionar configuração de rede .
Insira um nome para o NCC.
Selecione a região. Isso deve corresponder à região do seu workspace .
Clique em Adicionar .

Crie um endpoint de interface da AWS

importante

Do not enable your private endpoint until you have updated the resource policy.

Acesse a seção de regras de endpoint privado no seu NCC.
Selecione Add private endpoint rule (Adicionar regra de ponto de extremidade privado ).
Em Tipo de recurso , selecione o recurso AWS ao qual deseja se conectar (por exemplo, bucketS3 , Bedrock ou RDS ). Para obter a lista completa, consulte Recursos suportados.
Defina as configurações da regra:
- Serviço de endpoint: Este campo é preenchido automaticamente para estabelecer a conexão com o recurso de destino do seu endpoint privado.
- Nomes de bucketsS3 (somente S3 ): Insira os nomes dos buckets para o seu recurso de destino. Para todos os outros tipos de recurso, nenhum campo de nome de bucket ou recurso é exibido — o endpoint privado se aplica a todo o tráfego para o tipo de recurso selecionado.
- Região (somente S3): Opcionalmente, especifique a região dos buckets S3 de destino. Se você não especificar uma região, será usada a região do NCC. Isso possibilita a conectividade privada S3 entre regiões.

Restringir acesso ao endpoint privado

Antes de habilitar o endpoint privado, restrinja o acesso ao recurso da AWS para que apenas o tráfego do endpoint da VPC retornado no passo anterior, e quaisquer outras fontes que você aprovar, possa alcançá-lo. Onde você aplica esta restrição depende se o recurso suporta políticas baseadas em recursos:

How to restrict access	Resources
Add a `Deny` statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a `Deny` statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a `Deny` statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

How to restrict access	Resources
Add a `Deny` statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a `Deny` statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a `Deny` statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

Em todos os casos, use um Deny explícito em vez de um Allow. Na AWS, o acesso é negado por default, portanto, uma declaração Allow apenas concede acesso. As instruções Allow não podem restringir o acesso a um caminho específico. Para limitar o acesso ao Endpoint privado, negue todas as solicitações cuja origem não seja o Endpoint VPC, pois um Deny explícito substitui qualquer Allow.

atenção

A Deny statement with "Principal": "*" blocks every request that doesn't carry a matching aws:SourceVpce key, including access from the AWS console, the AWS CLI, and IAM identities in your account. Before you enable the endpoint, add every source you still need, such as administrative IAM roles or corporate VPN IP ranges, to the policy. Otherwise, you can lose console and administrative access to the resource. Enabling the endpoint manually in the next step gives you time to update these policies before serverless traffic starts routing through the endpoint.

Resource-based policy
S3 bucket
IAM role policy

Esses recursos permitem que você anexe uma política diretamente ao recurso. Adicione uma instrução Deny que negue qualquer solicitação cuja origem não seja o endpoint da VPC retornado no passo anterior. O exemplo a seguir nega todo o acesso a uma tabela DynamoDB, a menos que a solicitação venha por meio desse endpoint:

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "dynamodb:*",
      "Resource": "arn:aws:dynamodb:{region}:{account-id}:table/{table-name}",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Substitua vpce-12345 pelo VPC endpoint retornado no passo anterior. O mecanismo da política e os valores Action dependem do recurso. Por exemplo, o KMS usa políticas de key e o Secrets Manager usa políticas de recurso secreto. Consulte a documentação da AWS para seu recurso.

O S3 usa uma política de bucket, mas precisa de uma adição. As operações do Unity Catalog chegam ao seu bucket a partir do plano de controle do Databricks, e não por meio do seu Serverless VPC Endpoint, portanto, uma política que nega tudo, exceto o Serverless Endpoint, também bloqueia o Unity Catalog. Permita os Endpoint da VPC do gateway S3 do plano de controle adicionando as IDs da VPC deles à política com a chave de condição aws:SourceVpc. Encontre as IDs da VPC do plano de controle para sua região em IPs de saída do plano de controle da Databricks.

A seguinte política de bucket nega todo o acesso, a menos que a solicitação venha através do Serverless VPC Endpoint, de uma VPC do plano de controle do Databricks ou de um IP de VPN corporativa aprovado:

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAllOtherAccess",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": ["arn:aws:s3:::{bucket-name}", "arn:aws:s3:::{bucket-name}/*"],
      "Condition": {
        "StringNotEqualsIfExists": {
          "aws:SourceVpce": "vpce-12345",
          "aws:SourceVpc": ["vpc-11111", "vpc-22222"]
        },
        "NotIpAddressIfExists": {
          "aws:SourceIp": ["1.2.3.4/32", "5.6.7.8/32"]
        }
      }
    }
  ]
}

Substitua vpce-12345 pelo Endpoint Serverless da VPC retornado na etapa anterior.
Substitua vpc-11111 e vpc-22222 pelas IDs da VPC do plano de controle da Databricks para sua região. Consulte IPs de saída do plano de controle do Databricks.
Substitua os valores aws:SourceIp pelos intervalos de IP da sua VPN corporativa, ou remova o bloco NotIpAddressIfExists se você não precisar de acesso da sua rede.

Os operadores ...IfExists aplicam cada condição somente quando a solicitação contém essa key, portanto, uma solicitação de qualquer fonte única aprovada é permitida.

Estes recursos não suportam anexar uma política ao recurso. Em vez disso, adicione uma declaração Deny como política em linha na IAM role que a credencial de serviço do recurso usa. A seguinte política em linha nega todo o acesso, a menos que a solicitação venha do endpoint da VPC retornado no passo anterior:

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Action": "*",
      "Resource": "*",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Substitua vpce-12345 pelo endpoint da VPC retornado no passo anterior.

nota

These private endpoints cover each AWS service's API: management operations and, for the Data API variants (rds-data and redshift-data), HTTP-based SQL queries. They do not cover direct JDBC or ODBC database connections to RDS or Redshift instances, which use separate instance DNS names.

Atualize a interface do usuário ou faça uma chamada para API para confirmar que o status da regra foi alterado para ESTABLISHED.

Habilitar regra de endpoint privado

Clique no botão do menu de kebab.
Clique em Atualizar regra .
Selecione Habilitar regra .

importante

This step routes traffic for the configured AWS resource through PrivateLink for any workspace attached to the NCC. Before proceeding, verify you have updated the resource policy to allow resource access from the VPC endpoint.

Anexe a NCC a um ou mais workspaces

Esta etapa associa a conectividade privada configurada ao espaço de trabalho serverless. Pule esta etapa se o site workspace já estiver conectado ao NCC desejado. Para anexar o NCC a um workspace:

Acesse o espaço de trabalho na navegação à esquerda.
Selecione um site existente workspace.
Selecione Atualizar espaço de trabalho .
Em Configurações de conectividade de rede , selecione o menu suspenso e escolha o NCC que você criou.
Repita para todos os espaços de trabalho aos quais você gostaria que este NCC se aplicasse.

Verificar conectividade

A forma de verificar a conectividade depende do tipo de recurso. Para recursos diferentes do S3, simule o tráfego de um Notebook fazendo uma chamada ao recurso por meio do SDK AWS apropriado (por exemplo, uma invocação de modelo Bedrock ou uma chamada de função Lambda ) e, em seguida, verifique os logs de acesso do recurso para confirmar se a solicitação chega pelo endpoint VPC .

O exemplo a seguir testa a conectividade com um bucket S3 , registrando-o como um local externo e executando uma consulta:

registrar seu bucket como um local externo. Veja os locais externos.
Abra o editor SQL.

execução:

SQL
CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 's3://{your-s3-bucket}/test_connectivity'

Pode levar dez minutos para que a conexão seja totalmente estabelecida.

nota

If your network policy restricts external access, direct connections to your AWS S3 bucket's FQDNs like {your-s3-bucket}.s3.{region}.amazonaws.com are blocked. You must explicitly add the required FQDNs to your network policy's Allowed domains to allow this access. See Manage network policies for serverless egress control.

Access to your S3 buckets must use regional endpoints like {your-s3-bucket}.s3.{region}.amazonaws.com. Legacy endpoints like {your-s3-bucket}.s3.amazonaws.com are not supported.

Para verificar a conectividade de um recurso que você não pode registrar como um local externo do Unity Catalog, tal como um endpoint Delta Sharing, execute uma pesquisa DNS contra o endpoint do recurso a partir de um notebook e confirme que ele resolve para um endereço IP privado:

%sh nslookup <resource-endpoint>

Próximos passos

Configure a conectividade privada com o recurso AWS em sua VPC : Use o PrivateLink para estabelecer acesso seguro e isolado ao serviço AWS em sua VPC a partir do seu espaço de trabalho serverless , evitando a internet pública. Consulte Configurar conectividade privada ao recurso em sua VPC.
Configure um firewall para acesso compute serverless : Configure seus firewalls de fonte de dados para permitir o tráfego do plano compute serverless Databricks . Consulte a configuração do firewall compute sem servidor.
Entenda os custos de transferência de dados e conectividade : Transferência de dados e conectividade referem-se à movimentação de dados para dentro e para fora de ambientes serverless . As tarifas de rede para produtos serverless aplicam-se somente a clientes que utilizam compute serverless . Consulte Compreender os custos de rede do Databricks.

Recurso suportado​

Requisitos​

Configurar conectividade privada​

Crie um objeto de configurações de conectividade de rede (NCC)​

Crie um endpoint de interface da AWS​

Restringir acesso ao endpoint privado​

Habilitar regra de endpoint privado​

Anexe a NCC a um ou mais workspaces​

Verificar conectividade​

Próximos passos​

Recurso suportado

Requisitos

Configurar conectividade privada

Crie um objeto de configurações de conectividade de rede (NCC)

Crie um endpoint de interface da AWS

Restringir acesso ao endpoint privado

Habilitar regra de endpoint privado

Anexe a NCC a um ou mais workspaces

Verificar conectividade

Próximos passos