Configurer la connectivité privée aux Ressources gérées par AWS

important

La connectivité privée du compute serverless vers les endpoints Amazon S3 Federal Information Processing Standards (FIPS) est prise en charge dans les régions des États-Unis et du Canada. Si votre workspace requiert des endpoints FIPS, y compris les workspaces FedRAMP Moderate et FedRAMP High, sélectionnez le service d'endpoint S3 FIPS lorsque vous créez la règle d'endpoint privé.

Le service d’endpoint S3 FIPS doit se trouver dans la même région que la configuration de la connectivité réseau (NCC). S3 FIPS ne prend pas en charge la connectivité privée interrégion. Cette prise en charge de FIPS s'applique uniquement à S3, et non aux autres ressources gérées par AWS sur cette page.

remarque

Databricks facture les coûts de réseau lorsque les charges de travail Serverless se connectent aux Ressources des clients, et lorsque les services à forte performance transfèrent des données interrégions vers les clients. Consultez Comprendre les coûts de mise en réseau de Databricks.

Cette page explique comment configurer la connectivité privée du compute serverless aux ressources gérées par AWS à l'aide de l'interface utilisateur de la console de compte Databricks.

La configuration de la connectivité privée pour le compute Serverless fournit :

• Une connexion dédiée et privée : assure un accès sécurisé et isolé entre vos Workspaces Serverless et la Ressource AWS, limitant l'accès aux connexions autorisées uniquement.
• Atténuation renforcée de l'exfiltration de données : Bien que le compute serverless avec Unity Catalog offre une protection intégrée contre l'exfiltration de données, PrivateLink ajoute une couche supplémentaire de défense réseau. En utilisant AWS PrivateLink, votre trafic de données reste entièrement dans le réseau AWS, ne traversant jamais l'Internet public. Cette architecture, combinée à un accès contrôlé via des Endpoint Virtual Private Cloud (VPC), réduit la surface d'attaque pour l'exfiltration de données.

remarque

L'Endpoint Virtual Private Cloud (VPC) dédié configuré dans cette procédure gère l'accès du compute Serverless à la ressource AWS. Le plan de contrôle Databricks atteint également certaines ressources pour les opérations de métadonnées. Pour S3, Unity Catalog accède à votre compartiment depuis le plan de contrôle. Votre politique de compartiment doit donc autoriser Unity Catalog en plus de l'Endpoint Serverless. Voir l'étape 3. Si vous accédez également à la ressource depuis le réseau de votre entreprise, incluez vos adresses IP VPN d'entreprise dans la politique de la ressource.

remarque

Lorsque vous accédez à un compartiment S3 via cette connexion privée, par exemple à partir d'un notebook ou d'une query, utilisez le nom DNS qui correspond au service d'endpoint :

• Standard S3 : {your-s3-bucket}.s3.{region}.amazonaws.com
• S3 FIPS : {your-s3-bucket}.s3-fips.{region}.amazonaws.com

Les Endpoint globaux hérités tels que {your-s3-bucket}.s3.amazonaws.com ne sont pas pris en charge.

Ressources prises en charge

La connectivité privée du compute Serverless prend en charge les Ressources gérées par AWS suivantes :

Ressource	DNS d'Endpoint
Bedrock	bedrock.{region}.amazonaws.com
Agent Bedrock	bedrock-agent.{region}.amazonaws.com
Runtime d'agent Bedrock	bedrock-agent-runtime.{region}.amazonaws.com
Bedrock Runtime	bedrock-runtime.{region}.amazonaws.com
DynamoDB	dynamodb.{region}.amazonaws.com
EMR	elasticmapreduce.{region}.amazonaws.com
Glue	glue.{region}.amazonaws.com
Key Management Service (KMS)	kms.{region}.amazonaws.com
Lambda	lambda.{region}.amazonaws.com
RDS	rds.{region}.amazonaws.com
API de données RDS	rds-data.{region}.amazonaws.com
RDS Performance Insights	pi.{region}.amazonaws.com
Redshift	redshift.{region}.amazonaws.com
API de données Redshift	redshift-data.{region}.amazonaws.com
Redshift Serverless	redshift-serverless.{region}.amazonaws.com
S3 (même région ou interrégional)	s3.{region}.amazonaws.com
S3 FIPS (région unique uniquement)	s3-fips.{region}.amazonaws.com
Gestionnaire de secrets	secretsmanager.{region}.amazonaws.com
Security Token Service (STS)	sts.{region}.amazonaws.com
Simple Notification Service (SNS)	sns.{region}.amazonaws.com
Service de file d'attente simple (SQS)	sqs.{region}.amazonaws.com

Ressource	DNS d'Endpoint
Bedrock	bedrock.{region}.amazonaws.com
Agent Bedrock	bedrock-agent.{region}.amazonaws.com
Runtime d'agent Bedrock	bedrock-agent-runtime.{region}.amazonaws.com
Bedrock Runtime	bedrock-runtime.{region}.amazonaws.com
DynamoDB	dynamodb.{region}.amazonaws.com
EMR	elasticmapreduce.{region}.amazonaws.com
Glue	glue.{region}.amazonaws.com
Key Management Service (KMS)	kms.{region}.amazonaws.com
Lambda	lambda.{region}.amazonaws.com
RDS	rds.{region}.amazonaws.com
API de données RDS	rds-data.{region}.amazonaws.com
RDS Performance Insights	pi.{region}.amazonaws.com
Redshift	redshift.{region}.amazonaws.com
API de données Redshift	redshift-data.{region}.amazonaws.com
Redshift Serverless	redshift-serverless.{region}.amazonaws.com
S3 (même région ou interrégional)	s3.{region}.amazonaws.com
S3 FIPS (région unique uniquement)	s3-fips.{region}.amazonaws.com
Gestionnaire de secrets	secretsmanager.{region}.amazonaws.com
Security Token Service (STS)	sts.{region}.amazonaws.com
Simple Notification Service (SNS)	sns.{region}.amazonaws.com
Service de file d'attente simple (SQS)	sqs.{region}.amazonaws.com

remarque

• S3 et S3 FIPS prennent en charge le découpage par compartiment. Le S3 standard prend en charge la connectivité privée dans la même région et entre régions. S3 FIPS prend uniquement en charge la connectivité privée dans la même région. Pour toutes les autres Ressources, l'Endpoint privé s'applique à tout le trafic provenant de Workspace attachés à la NCC qui cible le type de Ressource. Il n'y a pas de découpage par instance.
• Lorsque vous accédez à votre compartiment S3 via cette connexion privée, utilisez {your-s3-bucket}.s3.{region}.amazonaws.com pour le S3 standard ou {your-s3-bucket}.s3-fips.{region}.amazonaws.com pour le S3 FIPS. Les legacy endpoints comme {your-s3-bucket}.s3.amazonaws.com ne sont pas pris en charge.

Exigences

• Le workspace est sur le forfait Entreprise.
• Vous êtes l'administrateur de votre compte Databricks.
• Vous avez au moins un Workspace fonctionnel utilisant le compute Serverless.
• Vous disposez des autorisations IAM AWS appropriées pour créer et modifier la politique des Ressources AWS et pour créer des Endpoints Virtual Private Cloud (VPC).
• Chaque compte Databricks peut avoir jusqu'à 10 NCC par région.
• Chaque région peut avoir 30 endpoints privés, répartis au besoin entre 1 et 10 NCC.
• Chaque NCC peut être joint à un maximum de 50 Workspace.
• Pour S3, chaque NCC peut avoir une règle d’Endpoint privé S3 par région, et chaque règle peut inclure jusqu’à 100 noms de compartiment.

Configurer la connectivité privée

Créez un objet de configurations de connectivité réseau (NCC)

Vous pouvez ignorer cette étape si vous avez un NCC existant dans la même région et le même compte AWS que vous souhaitez utiliser.

1. Dans la console du compte, cliquez sur Sécurité .
2. Sélectionnez l'onglet **Configurations de connectivité réseau** tab.
3. Sélectionnez Ajouter une configuration réseau .
4. Saisissez un nom pour le NCC.
5. Sélectionnez la région. Cela doit correspondre à la région de votre Workspace.
6. Cliquez sur **Ajouter**.

Créer un Endpoint d'interface AWS

important

Do not enable your private endpoint until you have updated the resource policy.

1. Accédez à la section Règles d'Endpoint privé dans votre NCC.
2. Sélectionnez **Ajouter une règle d'endpoint privé**.
3. Sous Type de ressource , sélectionnez la ressource AWS à laquelle vous souhaitez vous connecter (par exemple, compartiment S3 , Bedrock ou RDS ). Pour la liste complète, voir Ressources prises en charge.
4. Configurer les paramètres de la règle :
   • Service d’endpoint : pour un bucket S3, sélectionnez le service d’endpoint dans le menu déroulant. Pour utiliser S3 FIPS, sélectionnez com.amazonaws.<NCC-region>.s3-fips. Pour les autres types de ressources, ce champ est automatiquement renseigné.
   • Noms des compartiments S3 (S3 uniquement) : saisissez les noms des compartiments pour vos ressources de destination. Pour tous les autres types de ressources, aucun champ de nom de compartiment ou de ressource n'apparaît. L'endpoint privé s'applique à l'ensemble du trafic vers le type de ressource sélectionné.
   • Région (S3 uniquement) : pour S3 standard, spécifiez éventuellement la région des buckets S3 de destination. Si vous ne spécifiez pas de région, celle du NCC est utilisée. Pour S3 FIPS, le bucket de destination et le service d’endpoint doivent se trouver dans la région du NCC.

Restreindre l’accès à l’Endpoint privé

Avant d'activer l'Endpoint privé, restreignez l'accès à la Ressource AWS afin que seul le trafic provenant de l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente, et toute autre source que vous approuvez, puisse l'atteindre. L'endroit où vous appliquez cette restriction dépend si la ressource prend en charge les politiques basées sur les ressources :

How to restrict access	Resources
Add a Deny statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a Deny statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a Deny statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

How to restrict access	Resources
Add a Deny statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a Deny statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a Deny statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

Dans tous les cas, utilisez un Deny explicite plutôt qu'un Allow. Dans AWS, l'accès est refusé par default, donc une déclaration Allow ne fait qu'accorder l'accès. Les déclarations Allow ne peuvent pas restreindre l'accès à un chemin spécifique. Pour limiter l'accès à l'Endpoint privé, refusez chaque requête dont la source n'est pas le Virtual Private Cloud (VPC) Endpoint, car un Deny explicite l'emporte sur tout Allow.

attention

A Deny statement with "Principal": "*" blocks every request that doesn't carry a matching aws:SourceVpce key, including access from the AWS console, the AWS CLI, and IAM identities in your account. Before you enable the endpoint, add every source you still need, such as administrative IAM roles or corporate VPN IP ranges, to the policy. Otherwise, you can lose console and administrative access to the resource. Enabling the endpoint manually in the next step gives you time to update these policies before serverless traffic starts routing through the endpoint.

Resource-based policy

Ces Ressources vous permettent de joindre une politique directement à la Ressource. Ajoutez une instruction Deny qui refuse toute requête dont la source n'est pas le Endpoint Virtual Private Cloud (VPC) retourné à l'étape précédente. L'exemple suivant refuse tout accès à une table DynamoDB, à moins que la requête ne provienne de cet endpoint :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "dynamodb:*",
      "Resource": "arn:aws:dynamodb:{region}:{account-id}:table/{table-name}",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Remplacez vpce-12345 par l'Endpoint VPC renvoyé à l'étape précédente. Le mécanisme de politique et les valeurs Action dépendent de la Ressource. Par exemple, KMS utilise des politiques de clé et Secrets Manager utilise des politiques de ressources secrètes. Consultez la documentation AWS pour vos ressources.

S3 bucket

S3 utilise une politique de compartiment, mais elle nécessite un ajout. Les opérations Unity Catalog atteignent votre compartiment depuis le plan de contrôle Databricks plutôt que via votre endpoint Virtual Private Cloud (VPC) serverless, donc une politique qui refuse tout sauf l'endpoint serverless bloque également Unity Catalog. Autorisez les Endpoint Virtual Private Cloud (VPC) de la passerelle S3 du plan de contrôle en ajoutant leurs ID Virtual Private Cloud (VPC) à la politique avec la clé de condition aws:SourceVpc. Trouvez les ID Virtual Private Cloud (VPC) du plan de contrôle pour votre région dans IP de sortie du plan de contrôle Databricks.

La politique de compartiment suivante refuse tout accès, sauf si la requête provient de l'Endpoint Virtual Private Cloud (VPC) Serverless, d'un VPC du plan de contrôle Databricks ou d'une adresse IP VPN d'entreprise approuvée :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAllOtherAccess",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": ["arn:aws:s3:::{bucket-name}", "arn:aws:s3:::{bucket-name}/*"],
      "Condition": {
        "StringNotEqualsIfExists": {
          "aws:SourceVpce": "vpce-12345",
          "aws:SourceVpc": ["vpc-11111", "vpc-22222"]
        },
        "NotIpAddressIfExists": {
          "aws:SourceIp": ["1.2.3.4/32", "5.6.7.8/32"]
        }
      }
    }
  ]
}

• Remplacez vpce-12345 par l'Endpoint Virtual Private Cloud (VPC) serverless renvoyé à l'étape précédente.
• Remplacez vpc-11111 et vpc-22222 par les ID de Virtual Private Cloud (VPC) du plan de contrôle Databricks pour votre région. Consultez Adresses IP sortantes du plan de contrôle Databricks.
• Remplacez les valeurs aws:SourceIp par vos plages d'adresses IP VPN d'entreprise, ou supprimez le bloc NotIpAddressIfExists si vous n'avez pas besoin d'accès depuis votre réseau.

Les opérateurs ...IfExists appliquent chaque condition uniquement lorsque la requête contient cette clé, de sorte qu'une requête provenant de toute source approuvée unique est autorisée.

IAM role policy

Ces Ressources ne prennent pas en charge l'attachement d'une politique à la Ressource. Au lieu de cela, ajoutez une déclaration Deny en tant que politique en ligne sur le rôle IAM qu'utilise le crential de service de la Ressource. La politique en ligne suivante refuse tout accès, sauf si la requête passe par l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Action": "*",
      "Resource": "*",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Remplacez vpce-12345 par l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente.

remarque

These private endpoints cover each AWS service's API: management operations and, for the Data API variants (rds-data and redshift-data), HTTP-based SQL queries. They do not cover direct JDBC or ODBC database connections to RDS or Redshift instances, which use separate instance DNS names.

Refresh l'interface utilisateur ou effectuez un appel API pour confirmer que le statut de la règle passe à ESTABLISHED.

Activer la règle d'endpoint privé

1. Cliquez sur le bouton du menu kebab.
2. Cliquez sur Mettre à jour la règle .
3. Sélectionnez **Activer la règle**.

important

This step routes traffic for the configured AWS resource through PrivateLink for any workspace attached to the NCC. Before proceeding, verify you have updated the resource policy to allow resource access from the VPC endpoint.

Attachez la NCC à un ou plusieurs espaces de travail.

Cette étape associe votre connectivité privée configurée à vos workspaces serverless. Ignorez cette étape si votre workspace est déjà joint à la NCC souhaitée. Pour joindre la NCC à un workspace :

1. Accédez à **Workspaces** dans la navigation de gauche.
2. Sélectionnez un Workspace existant.
3. Sélectionnez Mettre à jour le Workspace .
4. Sous Configurations de la connectivité réseau , sélectionnez le menu déroulant et sélectionnez la NCC que vous avez créée.
5. Répétez l'opération pour tous les workspaces auxquels vous souhaitez que ce NCC s'applique.

Vérifier la connectivité

La manière de vérifier la connectivité dépend du type de ressource. Pour les Ressources autres que S3, simulez le trafic depuis un Notebook en effectuant un appel à la Ressource via le SDK AWS approprié (par exemple, une invocation de modèle Bedrock ou un appel de fonction Lambda), puis vérifiez les Log d'accès de la Ressource pour confirmer que la requête arrive via l'Endpoint Virtual Private Cloud (VPC).

L'exemple suivant teste la connectivité à un compartiment S3 en l'enregistrant comme emplacement externe et en exécutant une query :

1. Enregistrez votre compartiment en tant qu'emplacement externe. Voir emplacements externes.

2. Ouvrez l'éditeur SQL.

3. Exécuter :

   SQL

   CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 's3://{your-s3-bucket}/test_connectivity'

Il faut dix minutes pour que la connexion soit entièrement établie.

remarque

If your network policy restricts external access, direct connections to your AWS S3 bucket's DNS names are blocked. Add {your-s3-bucket}.s3.{region}.amazonaws.com for standard S3 or {your-s3-bucket}.s3-fips.{region}.amazonaws.com for S3 FIPS to your network policy's Allowed domains. See Manage network policies for serverless egress control.

Access to your S3 buckets must use the regional endpoint that matches the configured endpoint service. Legacy endpoints like {your-s3-bucket}.s3.amazonaws.com are not supported.

Pour vérifier la connectivité d'une ressource que vous ne pouvez pas enregistrer en tant qu'emplacement externe Unity Catalog, comme un endpoint Delta Sharing, exécutez une recherche DNS sur l'endpoint de la ressource depuis un Notebook et confirmez qu'elle se résout en une adresse IP privée :

%sh nslookup <resource-endpoint>

Étapes suivantes

• • Configurez une connectivité privée vers les ressources de votre Virtual Private Cloud (VPC)
  • Utilisez PrivateLink pour établir un accès sécurisé et isolé aux services AWS dans votre Virtual Private Cloud (VPC) à partir de vos Workspaces serverless, en contournant l’Internet public.
• • Configuration du pare-feu pour le compute serverless
  • Configurez les pare-feux de vos sources de données pour autoriser le trafic provenant du plan de compute serverless Databricks.
• • Comprendre les coûts réseau de Databricks
  • Le transfert de données et la connectivité font référence au déplacement de données vers et depuis des environnements serverless. Les frais de réseau pour les produits serverless s’appliquent uniquement aux clients utilisant le compute serverless.