Configurer la connectivité privée aux Ressources gérées par AWS

info

Aperçu

Cette fonctionnalité est en Aperçu public. Pour rejoindre cette préversion, contactez l'équipe de votre compte Databricks.

remarque

Databricks facture les coûts de réseau lorsque les charges de travail Serverless se connectent aux Ressources des clients, et lorsque les services à forte performance transfèrent des données interrégions vers les clients. Consultez Comprendre les coûts de mise en réseau de Databricks.

Cette page explique comment configurer la connectivité privée du compute serverless aux ressources gérées par AWS à l'aide de l'interface utilisateur de la console de compte Databricks.

La configuration de la connectivité privée pour le compute Serverless fournit :

• Une connexion dédiée et privée : assure un accès sécurisé et isolé entre vos Workspaces Serverless et la Ressource AWS, limitant l'accès aux connexions autorisées uniquement.
• Atténuation renforcée de l'exfiltration de données : Bien que le compute serverless avec Unity Catalog offre une protection intégrée contre l'exfiltration de données, PrivateLink ajoute une couche supplémentaire de défense réseau. En utilisant AWS PrivateLink, votre trafic de données reste entièrement dans le réseau AWS, ne traversant jamais l'Internet public. Cette architecture, combinée à un accès contrôlé via des Endpoint Virtual Private Cloud (VPC), réduit la surface d'attaque pour l'exfiltration de données.

remarque

L'Endpoint Virtual Private Cloud (VPC) dédié configuré dans cette procédure gère l'accès du compute Serverless à la ressource AWS. Le plan de contrôle Databricks atteint également certaines ressources pour les opérations de métadonnées. Pour S3, Unity Catalog accède à votre compartiment depuis le plan de contrôle. Votre politique de compartiment doit donc autoriser Unity Catalog en plus de l'Endpoint Serverless. Voir l'étape 3. Si vous accédez également à la ressource depuis le réseau de votre entreprise, incluez vos adresses IP VPN d'entreprise dans la politique de la ressource.

remarque

Lorsque vous accédez à un compartiment S3 par le biais de cette connexion privée, comme à partir d'un Notebook ou d'une query, faites référence au compartiment en utilisant son DNS régional, tel que {your-s3-bucket}.s3.{region}.amazonaws.com. Les Endpoint globaux hérités comme {your-s3-bucket}.s3.amazonaws.com ne sont pas pris en charge.

Ressources prises en charge

La connectivité privée du compute Serverless prend en charge les Ressources gérées par AWS suivantes :

Ressource	DNS d'Endpoint
Bedrock	bedrock.{region}.amazonaws.com
Agent Bedrock	bedrock-agent.{region}.amazonaws.com
Runtime d'agent Bedrock	bedrock-agent-runtime.{region}.amazonaws.com
Bedrock Runtime	bedrock-runtime.{region}.amazonaws.com
DynamoDB	dynamodb.{region}.amazonaws.com
EMR	elasticmapreduce.{region}.amazonaws.com
Glue	glue.{region}.amazonaws.com
Key Management Service (KMS)	kms.{region}.amazonaws.com
Lambda	lambda.{region}.amazonaws.com
RDS	rds.{region}.amazonaws.com
API de données RDS	rds-data.{region}.amazonaws.com
RDS Performance Insights	pi.{region}.amazonaws.com
Redshift	redshift.{region}.amazonaws.com
API de données Redshift	redshift-data.{region}.amazonaws.com
Redshift Serverless	redshift-serverless.{region}.amazonaws.com
S3 (même région ou interrégional)	s3.{region}.amazonaws.com
Gestionnaire de secrets	secretsmanager.{region}.amazonaws.com
Security Token Service (STS)	sts.{region}.amazonaws.com
Simple Notification Service (SNS)	sns.{region}.amazonaws.com
Service de file d'attente simple (SQS)	sqs.{region}.amazonaws.com

Ressource	DNS d'Endpoint
Bedrock	bedrock.{region}.amazonaws.com
Agent Bedrock	bedrock-agent.{region}.amazonaws.com
Runtime d'agent Bedrock	bedrock-agent-runtime.{region}.amazonaws.com
Bedrock Runtime	bedrock-runtime.{region}.amazonaws.com
DynamoDB	dynamodb.{region}.amazonaws.com
EMR	elasticmapreduce.{region}.amazonaws.com
Glue	glue.{region}.amazonaws.com
Key Management Service (KMS)	kms.{region}.amazonaws.com
Lambda	lambda.{region}.amazonaws.com
RDS	rds.{region}.amazonaws.com
API de données RDS	rds-data.{region}.amazonaws.com
RDS Performance Insights	pi.{region}.amazonaws.com
Redshift	redshift.{region}.amazonaws.com
API de données Redshift	redshift-data.{region}.amazonaws.com
Redshift Serverless	redshift-serverless.{region}.amazonaws.com
S3 (même région ou interrégional)	s3.{region}.amazonaws.com
Gestionnaire de secrets	secretsmanager.{region}.amazonaws.com
Security Token Service (STS)	sts.{region}.amazonaws.com
Simple Notification Service (SNS)	sns.{region}.amazonaws.com
Service de file d'attente simple (SQS)	sqs.{region}.amazonaws.com

remarque

• S3 est la seule ressource qui prend en charge la portée par compartiment et la connectivité privée interrégionale. Pour toutes les autres Ressources, l'Endpoint privé s'applique à tout le trafic provenant des Workspace attachés au NCC qui cible le type de Ressource — il n'y a pas de portée par instance.
• La connectivité privée aux sources de données SAP BDC est également prise en charge. Pour plus de détails, consultez Créer et gérer le connecteur SAP Business Data Cloud (BDC).
• Lorsque vous accédez à votre compartiment S3 via cette connexion privée (par exemple, depuis un notebook ou une query), faites référence au compartiment en utilisant son DNS régional, tel que {your-s3-bucket}.s3.{region}.amazonaws.com. Les Endpoint globaux hérités comme {your-s3-bucket}.s3.amazonaws.com ne sont pas pris en charge.

Exigences

• Le workspace est sur le forfait Entreprise.
• Vous êtes l'administrateur de votre compte Databricks.
• Vous avez au moins un Workspace fonctionnel utilisant le compute Serverless.
• Vous disposez des autorisations IAM AWS appropriées pour créer et modifier la politique des Ressources AWS et pour créer des Endpoints Virtual Private Cloud (VPC).
• Chaque compte Databricks peut avoir jusqu'à 10 NCC par région.
• Chaque région peut avoir 30 endpoints privés, répartis au besoin entre 1 et 10 NCC.
• Chaque NCC peut être joint à un maximum de 50 Workspace.
• Pour S3, chaque NCC peut avoir une règle d’Endpoint privé S3 par région, et chaque règle peut inclure jusqu’à 100 noms de compartiment.

Configurer la connectivité privée

Créez un objet de configurations de connectivité réseau (NCC)

Vous pouvez ignorer cette étape si vous avez un NCC existant dans la même région et le même compte AWS que vous souhaitez utiliser.

1. Dans la console du compte, cliquez sur Sécurité .
2. Sélectionnez l'onglet **Configurations de connectivité réseau** tab.
3. Sélectionnez Ajouter une configuration réseau .
4. Saisissez un nom pour le NCC.
5. Sélectionnez la région. Cela doit correspondre à la région de votre Workspace.
6. Cliquez sur **Ajouter**.

Créer un Endpoint d'interface AWS

important

Do not enable your private endpoint until you have updated the resource policy.

1. Accédez à la section Règles d'Endpoint privé dans votre NCC.
2. Sélectionnez **Ajouter une règle d'endpoint privé**.
3. Sous Type de ressource , sélectionnez la ressource AWS à laquelle vous souhaitez vous connecter (par exemple, compartiment S3 , Bedrock ou RDS ). Pour la liste complète, voir Ressources prises en charge.
4. Configurer les paramètres de la règle :
   • Endpoint Service : Ce champ est automatiquement renseigné pour établir la connexion à la ressource de destination de votre endpoint privé.
   • Noms des compartiments S3 (S3 uniquement) : saisissez les noms des compartiments pour vos ressources de destination. Pour tous les autres types de ressources, aucun champ de nom de compartiment ou de ressource n'apparaît — le private endpoint s'applique à tout le trafic vers le type de ressource sélectionné.
   • Région (S3 uniquement) : spécifiez éventuellement la région des compartiments S3 de destination. Si vous ne spécifiez pas de région, la région du NCC est utilisée. Ceci permet une connectivité privée S3 interrégionale.

Restreindre l’accès à l’Endpoint privé

Avant d'activer l'Endpoint privé, restreignez l'accès à la Ressource AWS afin que seul le trafic provenant de l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente, et toute autre source que vous approuvez, puisse l'atteindre. L'endroit où vous appliquez cette restriction dépend si la ressource prend en charge les politiques basées sur les ressources :

How to restrict access	Resources
Add a Deny statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a Deny statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a Deny statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

How to restrict access	Resources
Add a Deny statement to the resource's own policy. See the Resource-based policy tab.	DynamoDB, Glue, KMS, Lambda, Secrets Manager, SNS, SQS
Add a Deny statement to a bucket policy, and also allow the Databricks control plane. See the S3 bucket tab.	S3
Add a Deny statement as an inline policy on the IAM role that the resource's service credential uses. See the IAM role policy tab.	Bedrock, Bedrock Agent, Bedrock Agent Runtime, Bedrock Runtime, EMR, RDS, RDS Data API, RDS Performance Insights, Redshift, Redshift Data API, Redshift Serverless, STS

Dans tous les cas, utilisez un Deny explicite plutôt qu'un Allow. Dans AWS, l'accès est refusé par default, donc une déclaration Allow ne fait qu'accorder l'accès. Les déclarations Allow ne peuvent pas restreindre l'accès à un chemin spécifique. Pour limiter l'accès à l'Endpoint privé, refusez chaque requête dont la source n'est pas le Virtual Private Cloud (VPC) Endpoint, car un Deny explicite l'emporte sur tout Allow.

attention

A Deny statement with "Principal": "*" blocks every request that doesn't carry a matching aws:SourceVpce key, including access from the AWS console, the AWS CLI, and IAM identities in your account. Before you enable the endpoint, add every source you still need, such as administrative IAM roles or corporate VPN IP ranges, to the policy. Otherwise, you can lose console and administrative access to the resource. Enabling the endpoint manually in the next step gives you time to update these policies before serverless traffic starts routing through the endpoint.

Resource-based policy

Ces Ressources vous permettent de joindre une politique directement à la Ressource. Ajoutez une instruction Deny qui refuse toute requête dont la source n'est pas le Endpoint Virtual Private Cloud (VPC) retourné à l'étape précédente. L'exemple suivant refuse tout accès à une table DynamoDB, à moins que la requête ne provienne de cet endpoint :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "dynamodb:*",
      "Resource": "arn:aws:dynamodb:{region}:{account-id}:table/{table-name}",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Remplacez vpce-12345 par l'Endpoint VPC renvoyé à l'étape précédente. Le mécanisme de politique et les valeurs Action dépendent de la Ressource. Par exemple, KMS utilise des politiques de clé et Secrets Manager utilise des politiques de ressources secrètes. Consultez la documentation AWS pour vos ressources.

S3 bucket

S3 utilise une politique de compartiment, mais elle nécessite un ajout. Les opérations Unity Catalog atteignent votre compartiment depuis le plan de contrôle Databricks plutôt que via votre endpoint Virtual Private Cloud (VPC) serverless, donc une politique qui refuse tout sauf l'endpoint serverless bloque également Unity Catalog. Autorisez les Endpoint Virtual Private Cloud (VPC) de la passerelle S3 du plan de contrôle en ajoutant leurs ID Virtual Private Cloud (VPC) à la politique avec la clé de condition aws:SourceVpc. Trouvez les ID Virtual Private Cloud (VPC) du plan de contrôle pour votre région dans IP de sortie du plan de contrôle Databricks.

La politique de compartiment suivante refuse tout accès, sauf si la requête provient de l'Endpoint Virtual Private Cloud (VPC) Serverless, d'un VPC du plan de contrôle Databricks ou d'une adresse IP VPN d'entreprise approuvée :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAllOtherAccess",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": ["arn:aws:s3:::{bucket-name}", "arn:aws:s3:::{bucket-name}/*"],
      "Condition": {
        "StringNotEqualsIfExists": {
          "aws:SourceVpce": "vpce-12345",
          "aws:SourceVpc": ["vpc-11111", "vpc-22222"]
        },
        "NotIpAddressIfExists": {
          "aws:SourceIp": ["1.2.3.4/32", "5.6.7.8/32"]
        }
      }
    }
  ]
}

• Remplacez vpce-12345 par l'Endpoint Virtual Private Cloud (VPC) serverless renvoyé à l'étape précédente.
• Remplacez vpc-11111 et vpc-22222 par les ID de Virtual Private Cloud (VPC) du plan de contrôle Databricks pour votre région. Consultez Adresses IP sortantes du plan de contrôle Databricks.
• Remplacez les valeurs aws:SourceIp par vos plages d'adresses IP VPN d'entreprise, ou supprimez le bloc NotIpAddressIfExists si vous n'avez pas besoin d'accès depuis votre réseau.

Les opérateurs ...IfExists appliquent chaque condition uniquement lorsque la requête contient cette clé, de sorte qu'une requête provenant de toute source approuvée unique est autorisée.

IAM role policy

Ces Ressources ne prennent pas en charge l'attachement d'une politique à la Ressource. Au lieu de cela, ajoutez une déclaration Deny en tant que politique en ligne sur le rôle IAM qu'utilise le crential de service de la Ressource. La politique en ligne suivante refuse tout accès, sauf si la requête passe par l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente :

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyAccessOutsideVpcEndpoint",
      "Effect": "Deny",
      "Action": "*",
      "Resource": "*",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpce": "vpce-12345"
        }
      }
    }
  ]
}

Remplacez vpce-12345 par l'Endpoint Virtual Private Cloud (VPC) renvoyé à l'étape précédente.

remarque

These private endpoints cover each AWS service's API: management operations and, for the Data API variants (rds-data and redshift-data), HTTP-based SQL queries. They do not cover direct JDBC or ODBC database connections to RDS or Redshift instances, which use separate instance DNS names.

Refresh l'interface utilisateur ou effectuez un appel API pour confirmer que le statut de la règle passe à ESTABLISHED.

Activer la règle d'endpoint privé

1. Cliquez sur le bouton du menu kebab.
2. Cliquez sur Mettre à jour la règle .
3. Sélectionnez **Activer la règle**.

important

This step routes traffic for the configured AWS resource through PrivateLink for any workspace attached to the NCC. Before proceeding, verify you have updated the resource policy to allow resource access from the VPC endpoint.

Attachez la NCC à un ou plusieurs espaces de travail.

Cette étape associe votre connectivité privée configurée à vos workspaces serverless. Ignorez cette étape si votre workspace est déjà joint à la NCC souhaitée. Pour joindre la NCC à un workspace :

1. Accédez à **Workspaces** dans la navigation de gauche.
2. Sélectionnez un Workspace existant.
3. Sélectionnez Mettre à jour le Workspace .
4. Sous Configurations de la connectivité réseau , sélectionnez le menu déroulant et sélectionnez la NCC que vous avez créée.
5. Répétez l'opération pour tous les workspaces auxquels vous souhaitez que ce NCC s'applique.

Vérifier la connectivité

La manière de vérifier la connectivité dépend du type de ressource. Pour les Ressources autres que S3, simulez le trafic depuis un Notebook en effectuant un appel à la Ressource via le SDK AWS approprié (par exemple, une invocation de modèle Bedrock ou un appel de fonction Lambda), puis vérifiez les Log d'accès de la Ressource pour confirmer que la requête arrive via l'Endpoint Virtual Private Cloud (VPC).

L'exemple suivant teste la connectivité à un compartiment S3 en l'enregistrant comme emplacement externe et en exécutant une query :

1. Enregistrez votre compartiment en tant qu'emplacement externe. Voir emplacements externes.

2. Ouvrez l'éditeur SQL.

3. Exécuter :

   SQL

   CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 's3://{your-s3-bucket}/test_connectivity'

Il faut dix minutes pour que la connexion soit entièrement établie.

remarque

If your network policy restricts external access, direct connections to your AWS S3 bucket's FQDNs like {your-s3-bucket}.s3.{region}.amazonaws.com are blocked. You must explicitly add the required FQDNs to your network policy's Allowed domains to allow this access. See Manage network policies for serverless egress control.

Access to your S3 buckets must use regional endpoints like {your-s3-bucket}.s3.{region}.amazonaws.com. Legacy endpoints like {your-s3-bucket}.s3.amazonaws.com are not supported.

Pour vérifier la connectivité d'une ressource que vous ne pouvez pas enregistrer en tant qu'emplacement externe Unity Catalog, comme un endpoint Delta Sharing, exécutez une recherche DNS sur l'endpoint de la ressource depuis un Notebook et confirmez qu'elle se résout en une adresse IP privée :

%sh nslookup <resource-endpoint>

Étapes suivantes

• Configurez la connectivité privée aux Ressources AWS dans votre Virtual Private Cloud (VPC) : Utilisez PrivateLink pour établir un accès sécurisé et isolé aux services AWS dans votre Virtual Private Cloud (VPC) depuis vos Workspace Serverless, en contournant l'Internet public. Consultez Configurer la connectivité privée aux Ressources de votre Virtual Private Cloud (VPC).
• Configurer un pare-feu pour l'accès au compute serverless : Configurez les pare-feu de votre source de données pour autoriser le trafic depuis le plan de compute serverless Databricks. Voir la configuration du pare-feu pour le compute serverless.
• Comprendre les coûts de transfert de données et de connectivité : Le transfert de données et la connectivité font référence au déplacement de données vers et depuis des environnements Serverless. Les frais de réseau pour les produits Serverless s'appliquent uniquement aux clients utilisant le compute Serverless. Consultez Comprendre les coûts de réseau Databricks.