Configurar conectividade privada com a AWS - gerenciar recurso
A conectividade privada do compute serverless para os endpoints FIPS (Federal Information Processing Standards) do Amazon S3 é suportada nas regiões dos EUA e do Canadá. Se o seu Workspace exigir Endpoint FIPS, incluindo Workspace FedRAMP Moderate e FedRAMP High, selecione o serviço de Endpoint FIPS do S3 ao criar a regra de Endpoint privado.
O serviço de endpoint S3 FIPS deve estar na mesma região que a configuração de conectividade de rede (NCC). O S3 FIPS não oferece suporte a conectividade privada entre regiões. Esse suporte ao FIPS se aplica apenas ao S3, e não aos outros recursos gerenciados pela AWS nesta página.
Databricks cobra custos de rede quando cargas de trabalho serverless se conectam ao recurso do cliente e quando serviços com uso intensivo de desempenho enviam dados de saída entre regiões de volta para os clientes. Consulte Compreender os custos de rede do Databricks.
Esta página explica como configurar a conectividade privada de compute serverless para recursos de gerenciamento da AWS usando a interface do usuário do console account Databricks .
A configuração da conectividade privada para serverless compute fornece:
- Uma conexão dedicada e privada: Garante acesso seguro e isolado entre seu espaço de trabalho serverless e o recurso AWS , limitando o acesso apenas a conexões autorizadas.
- Mitigação aprimorada da exfiltração de dados: Embora o serverless compute com Unity Catalog forneça proteção integrada contra a exfiltração de dados, o PrivateLink acrescenta uma camada extra de defesa de rede. Usando o AWS PrivateLink, seu tráfego de dados permanece inteiramente na rede da AWS, nunca atravessando a Internet pública. Essa arquitetura, combinada com o acesso controlado por meio do endpoint VPC, reduz a superfície de ataque para a exfiltração de dados.
O VPC Endpoint dedicado configurado neste procedimento gerencia o acesso de compute Serverless ao recurso da AWS. O plano de controle do Databricks também acessa alguns recursos para operações de metadados. Para o S3, o Unity Catalog acessa seu bucket a partir do plano de controle, então sua política de bucket deve permitir o Unity Catalog além do Endpoint Serverless. Consulte o Passo 3. Se você também acessar o recurso de dentro da rede da sua empresa, inclua os IPs da VPN corporativa na política do recurso.
Quando você acessa um bucket S3 por meio desta conexão privada, como em um notebook ou query, use o nome DNS que corresponde ao serviço de endpoint:
- S3 padrão:
{your-s3-bucket}.s3.{region}.amazonaws.com - S3 FIPS:
{your-s3-bucket}.s3-fips.{region}.amazonaws.com
Endpoints globais herdados como {your-s3-bucket}.s3.amazonaws.com não são compatíveis.
Recurso suportado
A conectividade privada a partir de compute serverless suporta o seguinte recurso de gerenciamento da AWS:
Recursos | DNS de ponto final |
|---|---|
Rocha matriz |
|
Agente de Base |
|
Runtimedo agente Bedrock |
|
Runtimedo Bedrock |
|
DynamoDB |
|
EMR |
|
Glue |
|
serviço de gerenciamento de chaves (KMS) |
|
Lambda |
|
RDS |
|
API de dados RDS |
|
Desempenho RDS |
|
Redshift |
|
API de dados Redshift |
|
Redshift sem servidor |
|
S3 (mesma região ou região cruzada) |
|
S3 FIPS (somente na mesma região) |
|
Gerente de Segredos |
|
Serviço de tokens de segurança (STS) |
|
Serviço de Notificação Simples (SNS) |
|
Serviço de fila simples (SQS) |
|
- O S3 e o S3 FIPS oferecem suporte ao escopo por bucket. O S3 padrão oferece suporte a conectividade privada na mesma região e entre regiões. O S3 FIPS oferece suporte apenas a conectividade privada na mesma região. Para todos os outros recursos, o endpoint privado se aplica a todo o tráfego dos workspaces anexados à NCC que visa ao tipo de recurso. Não há escopo por instância.
- Quando você acessar seu bucket S3 por meio desta conexão privada, use
{your-s3-bucket}.s3.{region}.amazonaws.compara o S3 padrão ou{your-s3-bucket}.s3-fips.{region}.amazonaws.compara o S3 FIPS. Endpoints legados como{your-s3-bucket}.s3.amazonaws.comnão são suportados.
Requisitos
- O site workspace está no plano Enterprise.
- Você é o account da sua account Databricks .
- O senhor tem pelo menos um workspace funcional usando serverless compute.
- Você possui as permissões apropriadas AWS IAM para criar e modificar a política do recurso da AWS e para criar o endpoint VPC .
- Cada Databricks account pode ter até 10 NCCs por região.
- Cada região pode ter 30 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
- Cada NCC pode ser conectado a até 50 espaços de trabalho.
- Para o S3, cada NCC pode ter uma regra de endpoint privado do S3 por região, e cada regra pode incluir até 100 nomes de buckets.
Configurar conectividade privada
Crie um objeto de configurações de conectividade de rede (NCC)
O senhor pode pular esta etapa se tiver um NCC existente na mesma região e AWS account que deseja usar.
- No consoleaccount, clique em Segurança .
- Selecione a tab Configurações de conectividade de rede .
- Selecione Adicionar configuração de rede .
- Insira um nome para o NCC.
- Selecione a região. Isso deve corresponder à região do seu workspace .
- Clique em Adicionar .
Crie um endpoint de interface da AWS
Do not enable your private endpoint until you have updated the resource policy.
- Acesse a seção de regras de endpoint privado no seu NCC.
- Selecione Add private endpoint rule (Adicionar regra de ponto de extremidade privado ).
- Em Tipo de recurso , selecione o recurso AWS ao qual deseja se conectar (por exemplo, bucketS3 , Bedrock ou RDS ). Para obter a lista completa, consulte Recursos suportados.
- Defina as configurações da regra:
- Serviço de endpoint: para um bucket S3, selecione o serviço de endpoint no menu suspenso. Para usar o S3 FIPS, selecione
com.amazonaws.<NCC-region>.s3-fips. Para outros tipos de recurso, este campo é preenchido automaticamente. - Nomes de bucket do S3 (somente S3): insira os nomes de bucket para seus recursos de destino. Para todos os outros tipos de recurso, nenhum campo de bucket ou nome de recurso é exibido. O endpoint privado se aplica a todo o tráfego para o tipo de recurso selecionado.
- Região (somente S3): para o S3 padrão, opcionalmente especifique a região dos buckets S3 de destino. Se você não especificar uma região, a região do NCC será usada. Para o S3 FIPS, o bucket de destino e o serviço de endpoint devem estar na região do NCC.
- Serviço de endpoint: para um bucket S3, selecione o serviço de endpoint no menu suspenso. Para usar o S3 FIPS, selecione
Restringir acesso ao endpoint privado
Antes de habilitar o endpoint privado, restrinja o acesso ao recurso da AWS para que apenas o tráfego do endpoint da VPC retornado no passo anterior, e quaisquer outras fontes que você aprovar, possa alcançá-lo. Onde você aplica esta restrição depende se o recurso suporta políticas baseadas em recursos:
How to restrict access | Resources |
|---|---|
Add a | DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS |
Add a | S3 |
Add a | Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS |
Em todos os casos, use um Deny explícito em vez de um Allow. Na AWS, o acesso é negado por default, portanto, uma declaração Allow apenas concede acesso. As instruções Allow não podem restringir o acesso a um caminho específico. Para limitar o acesso ao Endpoint privado, negue todas as solicitações cuja origem não seja o Endpoint VPC, pois um Deny explícito substitui qualquer Allow.
A Deny statement with "Principal": "*" blocks every request that doesn't carry a matching aws:SourceVpce key, including access from the AWS console, the AWS CLI, and IAM identities in your account. Before you enable the endpoint, add every source you still need, such as administrative IAM roles or corporate VPN IP ranges, to the policy. Otherwise, you can lose console and administrative access to the resource. Enabling the endpoint manually in the next step gives you time to update these policies before serverless traffic starts routing through the endpoint.
- Resource-based policy
- S3 bucket
- IAM role policy
Esses recursos permitem que você anexe uma política diretamente ao recurso. Adicione uma instrução Deny que negue qualquer solicitação cuja origem não seja o endpoint da VPC retornado no passo anterior. O exemplo a seguir nega todo o acesso a uma tabela DynamoDB, a menos que a solicitação venha por meio desse endpoint:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DenyAccessOutsideVpcEndpoint",
"Effect": "Deny",
"Principal": "*",
"Action": "dynamodb:*",
"Resource": "arn:aws:dynamodb:{region}:{account-id}:table/{table-name}",
"Condition": {
"StringNotEquals": {
"aws:SourceVpce": "vpce-12345"
}
}
}
]
}
Substitua vpce-12345 pelo VPC endpoint retornado no passo anterior. O mecanismo da política e os valores Action dependem do recurso. Por exemplo, o KMS usa políticas de key e o Secrets Manager usa políticas de recurso secreto. Consulte a documentação da AWS para seu recurso.
O S3 usa uma política de bucket, mas precisa de uma adição. As operações do Unity Catalog chegam ao seu bucket a partir do plano de controle do Databricks, e não por meio do seu Serverless VPC Endpoint, portanto, uma política que nega tudo, exceto o Serverless Endpoint, também bloqueia o Unity Catalog. Permita os Endpoint da VPC do gateway S3 do plano de controle adicionando as IDs da VPC deles à política com a chave de condição aws:SourceVpc. Encontre as IDs da VPC do plano de controle para sua região em IPs de saída do plano de controle da Databricks.
A seguinte política de bucket nega todo o acesso, a menos que a solicitação venha através do Serverless VPC Endpoint, de uma VPC do plano de controle do Databricks ou de um IP de VPN corporativa aprovado:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DenyAllOtherAccess",
"Effect": "Deny",
"Principal": "*",
"Action": "s3:*",
"Resource": ["arn:aws:s3:::{bucket-name}", "arn:aws:s3:::{bucket-name}/*"],
"Condition": {
"StringNotEqualsIfExists": {
"aws:SourceVpce": "vpce-12345",
"aws:SourceVpc": ["vpc-11111", "vpc-22222"]
},
"NotIpAddressIfExists": {
"aws:SourceIp": ["1.2.3.4/32", "5.6.7.8/32"]
}
}
}
]
}
- Substitua
vpce-12345pelo Endpoint Serverless da VPC retornado na etapa anterior. - Substitua
vpc-11111evpc-22222pelas IDs da VPC do plano de controle da Databricks para sua região. Consulte IPs de saída do plano de controle do Databricks. - Substitua os valores
aws:SourceIppelos intervalos de IP da sua VPN corporativa, ou remova o blocoNotIpAddressIfExistsse você não precisar de acesso da sua rede.
Os operadores ...IfExists aplicam cada condição somente quando a solicitação contém essa key, portanto, uma solicitação de qualquer fonte única aprovada é permitida.
Estes recursos não suportam anexar uma política ao recurso. Em vez disso, adicione uma declaração Deny como política em linha na IAM role que a credencial de serviço do recurso usa. A seguinte política em linha nega todo o acesso, a menos que a solicitação venha do endpoint da VPC retornado no passo anterior:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DenyAccessOutsideVpcEndpoint",
"Effect": "Deny",
"Action": "*",
"Resource": "*",
"Condition": {
"StringNotEquals": {
"aws:SourceVpce": "vpce-12345"
}
}
}
]
}
Substitua vpce-12345 pelo endpoint da VPC retornado no passo anterior.
These private endpoints cover each AWS service's API: management operations and, for the Data API variants (rds-data and redshift-data), HTTP-based SQL queries. They do not cover direct JDBC or ODBC database connections to RDS or Redshift instances, which use separate instance DNS names.
Atualize a interface do usuário ou faça uma chamada para API para confirmar que o status da regra foi alterado para ESTABLISHED.
Habilitar regra de endpoint privado
- Clique no botão do menu de kebab.
- Clique em Atualizar regra .
- Selecione Habilitar regra .
This step routes traffic for the configured AWS resource through PrivateLink for any workspace attached to the NCC. Before proceeding, verify you have updated the resource policy to allow resource access from the VPC endpoint.
Anexe a NCC a um ou mais workspaces
Esta etapa associa a conectividade privada configurada ao espaço de trabalho serverless. Pule esta etapa se o site workspace já estiver conectado ao NCC desejado. Para anexar o NCC a um workspace:
- Acesse o espaço de trabalho na navegação à esquerda.
- Selecione um site existente workspace.
- Selecione Atualizar espaço de trabalho .
- Em Configurações de conectividade de rede , selecione o menu suspenso e escolha o NCC que você criou.
- Repita para todos os espaços de trabalho aos quais você gostaria que este NCC se aplicasse.
Verificar conectividade
A forma de verificar a conectividade depende do tipo de recurso. Para recursos diferentes do S3, simule o tráfego de um Notebook fazendo uma chamada ao recurso por meio do SDK AWS apropriado (por exemplo, uma invocação de modelo Bedrock ou uma chamada de função Lambda ) e, em seguida, verifique os logs de acesso do recurso para confirmar se a solicitação chega pelo endpoint VPC .
O exemplo a seguir testa a conectividade com um bucket S3 , registrando-o como um local externo e executando uma consulta:
-
registrar seu bucket como um local externo. Veja os locais externos.
-
Abra o editor SQL.
-
execução:
SQLCREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 's3://{your-s3-bucket}/test_connectivity'
Pode levar dez minutos para que a conexão seja totalmente estabelecida.
If your network policy restricts external access, direct connections to your AWS S3 bucket's DNS names are blocked. Add {your-s3-bucket}.s3.{region}.amazonaws.com for standard S3 or {your-s3-bucket}.s3-fips.{region}.amazonaws.com for S3 FIPS to your network policy's Allowed domains. See Manage network policies for serverless egress control.
Access to your S3 buckets must use the regional endpoint that matches the configured endpoint service. Legacy endpoints like {your-s3-bucket}.s3.amazonaws.com are not supported.
Para verificar a conectividade de um recurso que você não pode registrar como um local externo do Unity Catalog, tal como um endpoint Delta Sharing, execute uma pesquisa DNS contra o endpoint do recurso a partir de um notebook e confirme que ele resolve para um endereço IP privado:
%sh nslookup <resource-endpoint>
Próximos passos
-
- Configurar conectividade privada para recursos em sua VPC
- Use o PrivateLink para estabelecer acesso seguro e isolado aos serviços da AWS na sua VPC a partir dos seus Workspace Serverless, ignorando a internet pública.
-
- Configuração de firewall de compute serverless
- Configure os firewalls da sua fonte de dados para permitir o tráfego do plano de compute serverless da Databricks.
-
- Understand Databricks networking costs
- Transferência de dados e conectividade referem-se à movimentação de dados para dentro e para fora de ambientes serverless. As cobranças de rede para produtos serverless aplicam-se apenas aos clientes que usam compute serverless.