Aller au contenu principal
Dernière mise à jour le

Configurez la connectivité privée classique à Databricks

Cette page fournit les étapes de configuration pour activer la connectivité privée du plan de compute classique (back-end) pour AWS Private Link.

Pourquoi créer un Private Link de plan de compute classique ?​

La configuration d'une connexion Private Link du plan de compute classique offre des avantages essentiels en matière de sécurité et de conformité pour votre environnement de traitement des données :

  • Sécurité renforcée : empêche vos clusters Databricks de communiquer avec le plan de contrôle sur l'Internet public, isolant vos charges de travail de données des réseaux publics.
  • Exigences de conformité : Aide à répondre aux exigences réglementaires strictes et aux mandats de conformité d’entreprise qui exigent que tout le trafic interne du cloud reste sur un réseau privé.
  • Contrôle de l'exfiltration de données : En sécurisant la connexion depuis le plan de compute qui traite activement les données, vous ajoutez une couche de protection puissante contre l'exfiltration de données.

Présentation de l'architecture​

Private Link du plan de compute classique (compute classique vers plan de contrôle) connecte les ressources de compute classiques Databricks dans le Virtual Private Cloud (VPC) d'un client aux services de base du Workspace. Le compute classique se connecte au plan de contrôle pour les APIs REST de Databricks et le relais de connectivité sécurisée des clusters.

Consultez Configurer la connectivité privée classique à Databricks.

Exigences​

  • Votre compte Databricks est sur le niveau de Tarifs Enterprise.
  • Votre Workspace Databricks doit utiliser un Virtual Private Cloud (VPC) géré par le client pour le Private Link (back-end) du plan de compute classique et pour le Private Link (front-end) entrant sur les Workspaces avec un plan de compute classique. Les Workspaces uniquement serverless et le Private Link sortant (plan de compute serverless) ne nécessitent pas un Virtual Private Cloud (VPC) géré par le client. Un Workspace avec un plan de compute classique déployé avec un Virtual Private Cloud (VPC) géré par Databricks ne peut pas utiliser de Private Link entrant. Consultez Configurer un Virtual Private Cloud (VPC) géré par le client.
  • Votre Workspace Databricks doit utiliser la connectivité sécurisée des clusters. Pour ajouter un Private Link de plan de compute classique à un Workspace plus ancien qui n'utilise pas la connectivité sécurisée des clusters, contactez votre équipe de compte Databricks.
  • Vous devez disposer de toutes les autorisations AWS nécessaires pour configurer un Databricks workspace et pour créer de nouveaux Endpoint Virtual Private Cloud (VPC) pour votre workspace.

Bonnes pratiques​

Databricks recommande ce qui suit pour une configuration résiliente et gérable :

  • Share VPC Endpoint : Vous pouvez partager des Endpoint VPC classiques à travers plusieurs Workspace qui utilisent le même VPC géré par le client, car ce sont des ressources au niveau du VPC.
  • Sous-réseau séparé pour les Endpoint Virtual Private Cloud (VPC) : Créez un sous-réseau dédié pour les Endpoint Virtual Private Cloud (VPC) afin de suivre le principe du moindre privilège et de simplifier la gestion du réseau.
  • Groupes de sécurité distincts : utilisez des groupes de sécurité distincts pour le compute classique et les Endpoints Virtual Private Cloud (VPC) afin d'appliquer des contrôles d'accès granulaires.
  • Planifiez soigneusement le dimensionnement du réseau : vérifiez que votre Virtual Private Cloud (VPC) et vos sous-réseaux disposent d'un espace d'adressage IP adéquat. Consultez Configurer un Virtual Private Cloud (VPC) géré par le client.

Effectuez les étapes suivantes pour configurer le Private Link du plan de compute classique (back-end) pour votre Workspace.

Configurer les objets réseau AWS​

Vous pouvez utiliser la console de gestion AWS pour créer ces objets ou automatiser le processus avec des outils tels que le fournisseur Terraform pour les réseaux.

Configurez les paramètres du Virtual Private Cloud (VPC).​

  1. Si ce n’est pas déjà fait, configurez un Virtual Private Cloud (VPC) pour votre workspace. Vous pouvez réutiliser un Virtual Private Cloud (VPC) d'un autre Workspace. Pour créer un VPC, consultez Configurer un VPC géré par le client. Si vous mettez à jour un workspace pour Private Link, vérifiez qu’il utilise déjà un VPC géré par le client.
  2. Vérifiez que votre Virtual Private Cloud (VPC) a les noms d'hôte DNS et la résolution DNS activés.
  3. Sélectionnez un bloc CIDR IPv4 pour votre Virtual Private Cloud (VPC) avec un masque de sous-réseau d'au moins /25.

Configurez les ACL réseau​

Databricks exige des listes de contrôle d'accès réseau au niveau du sous-réseau pour ajouter 0.0.0.0/0 à votre liste d'autorisation. Pour contrôler le trafic sortant, utilisez un pare-feu sortant ou un appareil proxy pour bloquer la majeure partie du trafic, mais autorisez les URL auxquelles Databricks doit se connecter. Consultez Configurer un pare-feu et l'accès sortant.

Créer un sous-réseau de endpoint Virtual Private Cloud (VPC) (recommandé)​

  1. Créez et configurez un sous-réseau Virtual Private Cloud (VPC) supplémentaire (facultatif) :
    • Créez un sous-réseau dédié pour vos Endpoint Virtual Private Cloud (VPC), y compris les Endpoint Private Link du plan de compute et tout autre Endpoint Virtual Private Cloud (VPC) facultatif vers d'autres services AWS. Ce sous-réseau est celui que vous sélectionnez lors de la création d’Endpoints Virtual Private Cloud (VPC), garantissant qu’ils sont isolés de vos sous-réseaux de Workspace tout en maintenant la connectivité réseau.
    • Attachez une table de routage distincte à votre sous-réseau d'Endpoint Virtual Private Cloud (VPC), différente de la table de routage de vos sous-réseaux Workspace. Cette table d'itinéraires ne doit avoir qu'une seule route par défaut pour le Virtual Private Cloud (VPC) local.

Créer des groupes de sécurité​

Pour garantir une connectivité sécurisée, Databricks recommande d'utiliser deux groupes de sécurité principaux plutôt que des groupes individuels pour chaque Endpoint.

  • Groupe de sécurité Workspace : Appliqué aux ressources du Workspace.

  • Groupe de sécurité d'Endpoint Private Link : Appliqué à tous les Endpoints Virtual Private Cloud (VPC). Ce groupe nécessite des règles de trafic entrant sur les ports spécifiés, en utilisant le groupe de sécurité du workspace comme source. Les règles de trafic sortant ne sont pas requises pour le groupe de sécurité de l'Endpoint.

  • Groupe de sécurité du Workspace Endpoint Virtual Private Cloud (VPC) : Voir Groupes de sécurité

Si votre Workspace utilise le profil de sécurité de conformité, vous devez également autoriser l'accès au port 2443 pour prendre en charge les Endpoints FIPS pour le relais de connectivité sécurisée du cluster, en suivant les mêmes règles directionnelles que les autres ports.

remarque

Security group rules are directional, so you don't need matching inbound and outbound rules on both groups. The workspace security group must allow outbound access to the Private Link endpoint security group, and the endpoint security group must allow inbound access from the workspace security group. Because security groups are stateful, return traffic is allowed automatically, so the endpoint security group doesn't need outbound rules. This least-privilege configuration is the one implemented in the Security Reference Architectures (SRA) Terraform templates.

Créer des Endpoints Virtual Private Cloud (VPC)​

Pour Private Link sur le plan de compute classique, créez des Endpoint Virtual Private Cloud (VPC) pour le relais de connectivité sécurisée du cluster et pour le Workspace, permettant les appels du plan de compute aux API REST Databricks. Pour obtenir des conseils sur la gestion des Endpoint Virtual Private Cloud (VPC) avec la console de gestion AWS, consultez l'article AWS Création d'Endpoint Virtual Private Cloud (VPC) dans la console de gestion AWS. Vous pouvez partager des Endpoint classiques sur plusieurs Workspace qui utilisent le même Virtual Private Cloud (VPC) géré par le client.

Créer l'Endpoint Virtual Private Cloud (VPC) du Workspace​

Pour créer des Endpoint Virtual Private Cloud (VPC) classiques dans la Console de gestion AWS :

  1. Accédez à la section points de terminaison Virtual Private Cloud (VPC) de la console de gestion AWS.

  2. Dans le coin supérieur droit, définissez la région sur la même région que votre workspace.

  3. Cliquez sur Create Endpoint .

  4. Nommez l'endpoint, en incorporant la région et le mot workspace, tel que databricks-us-west-2-workspace-vpce, pour le point de terminaison Virtual Private Cloud (VPC) du workspace.

  5. Sous Catégorie de service , sélectionnez Services d'Endpoint qui utilisent les équilibreurs de charge réseau (NLB) et les équilibreurs de charge de passerelle (GWLB) .

  6. Dans le champ du nom du service, collez le nom du service. Obtenez les domaines de service des Endpoint Virtual Private Cloud (VPC) de votre région à partir du tableau dans services d'Endpoint PrivateLink VPC.

    Pour le premier Endpoint Virtual Private Cloud (VPC) que vous créez, copiez le nom du service régional pour le Workspace.

  7. Cliquez sur Vérifier le service et vérifiez que la page affiche Nom du service vérifié dans une boîte verte. Si vous rencontrez une erreur indiquant « Le nom du service n'a pas pu être vérifié », vérifiez que les régions de votre Virtual Private Cloud (VPC), de vos sous-réseaux et de votre nouvel endpoint VPC correspondent.

  8. Dans le champ **Virtual Private Cloud (VPC)**, sélectionnez le Virtual Private Cloud (VPC) de votre workspace.

  9. Dans la section Sous-réseaux , sélectionnez le sous-réseau où le Virtual Private Cloud (VPC) Endpoint sera créé. Si vous avez créé un sous-réseau dédié séparé pour les Endpoint Virtual Private Cloud (VPC), sélectionnez ce sous-réseau. Sinon, sélectionnez l'un de vos sous-réseaux Workspace Databricks.

  10. Dans la section **Groupes de sécurité**, sélectionnez le groupe de sécurité que vous avez créé pour les connexions classiques dans Configurer les objets réseau AWS.

  11. Sous **Paramètres supplémentaires**, activez l'option **Activer le nom DNS privé**.

  12. Cliquez sur Créer un Endpoint .

Créer l'Endpoint Virtual Private Cloud (VPC) de relais SCC​

  1. Répétez les étapes précédentes pour créer l'Endpoint de relais de connectivité de cluster sécurisé. Utilisez le tableau dans services d'Endpoint Virtual Private Cloud (VPC) PrivateLink pour obtenir le nom du service régional pour le relais de connectivité sécurisée des clusters. Databricks recommande d'inclure la région et le mot scc dans le nom de l'Endpoint, tel que databricks-us-west-2-scc-vpce.
remarque

Classic VPC endpoints automatically use AWS DNS resolution when you enable the Enable private DNS name option on the endpoint. If you're also configuring inbound Private Link, you need to set up DNS to route user requests to the inbound VPC endpoint. For comprehensive DNS configuration guidance, see Configure DNS for AWS inbound Private Link.

Plusieurs types d'objets sont pertinents pour la configuration de Private Link :

  • Inscriptions d'Endpoints Virtual Private Cloud (VPC) : après avoir créé des Endpoints Virtual Private Cloud (VPC) dans la console de gestion AWS, enregistrez-les auprès de Databricks pour établir les inscriptions d'Endpoints Virtual Private Cloud (VPC). Les enregistrements d'Endpoint Virtual Private Cloud (VPC) ne peuvent pas être mis à jour ultérieurement.

    • Pour les Endpoint Virtual Private Cloud (VPC) classiques, vérifiez que le champ de région correspond à la région de votre Workspace et à la région des Endpoint Virtual Private Cloud (VPC) AWS que vous enregistrez. Pour les Link privés entrants, le champ de région doit correspondre à la région de votre Virtual Private Cloud (VPC) de transit et à la région de l'Endpoint Virtual Private Cloud (VPC) AWS pour la connexion entrante du Workspace.
    • Pour enregistrer vos Endpoint VPC classiques et entrants, suivez les instructions de Gérer les enregistrements d'Endpoint VPC.

  • Configurations réseau (nécessaires uniquement pour les Endpoint VPC classiques) : Les configurations réseau détaillent des informations sur un Virtual Private Cloud (VPC) géré par le client et incluent deux champs de configuration Private Link du plan de compute classique.

    • Pour créer une configuration réseau, consultez Enregistrer votre Virtual Private Cloud (VPC) avec Databricks. Pour les exigences complètes pour les Virtual Private Cloud (VPC) gérés par le client, les sous-réseaux et les groupes de sécurité, consultez Configurer un Virtual Private Cloud (VPC) géré par le client. Dans la section Connectivité privée du back-end , définissez les champs de vos enregistrements d'Endpoint Virtual Private Cloud (VPC) classiques comme suit :
    • Dans le premier champ, sélectionnez l'enregistrement du VPC Endpoint pour le *relais de connectivité de cluster sécurisé*.
    • Dans le deuxième champ, choisissez l'enregistrement du Virtual Private Cloud (VPC) Endpoint pour le Workspace (REST APIs) .
    • Après avoir créé une configuration réseau, vous ne pouvez pas la mettre à jour.

  • **Configurations d'accès privé** : L'objet de configuration d'accès privé d'un Workspace inclut des paramètres pour la connectivité AWS Private Link. Vous pouvez utiliser un seul objet de paramètres d'accès privé pour plusieurs Workspace dans la même région AWS. Pour créer un objet de paramètres d'accès privé (PAS), consultez Gérer les paramètres d'accès privé.

Votre workspace doit déjà utiliser un Virtual Private Cloud (VPC) géré par le client et une connectivité de cluster sécurisée.

  1. Créez un Workspace à l’aide des instructions ici. Cette page explique comment configurer les paramètres clés du Workspace, y compris l’URL du Workspace, la région, l’intégration de Unity Catalog, les configurations d’informations d’identification et les configurations de stockage. Ne cliquez pas encore sur le bouton Enregistrer .
  2. Cliquez sur Configurations avancées pour afficher les champs supplémentaires.
  3. Sous Virtual Private Cloud , dans le menu, choisissez la configuration réseau Databricks que vous avez créée.
  4. Sous l'en-tête **Private Link**, cliquez sur le menu, et choisissez le nom de l'objet de paramètres d'accès privé que vous avez créé.
  5. Cliquez sur Enregistrer .
remarque

After you create a workspace, its status changes to RUNNING, and associated VPC network updates are immediately applied. However, wait an additional 20 minutes after the status shows RUNNING before creating or using clusters. Attempting to create or use clusters before this time could result in launch failures, errors, or other unexpected behavior.

Ajouter des Endpoint Virtual Private Cloud (VPC) pour d'autres services AWS​

Lors de la mise en œuvre du Private Link du plan de compute classique, vous devez choisir l'une des deux approches pour la connectivité des clusters aux services AWS (S3, STS, Kinesis) :

  • Configuration standard (Option 1) : Nécessite un accès Internet sortant utilisant une passerelle NAT et une passerelle Internet (ou une infrastructure similaire gérée par le client) ainsi que des Endpoint S3, STS et Kinesis Virtual Private Cloud (VPC) facultatifs.
  • Configuration entièrement privée (Option 2) : Élimine la passerelle NAT et la passerelle Internet en nécessitant des Endpoints Virtual Private Cloud (VPC) S3, STS et Kinesis.

Option 1 : recommandée​

Pour les cas d’usage courants, Databricks recommande de créer les Endpoints Virtual Private Cloud (VPC) suivants. Cela permet aux clusters et aux autres ressources de compute du plan de compute classique de se connecter directement aux services natifs AWS via AWS PrivateLink. Créez ces endpoints VPC dans le même sous-réseau que vos endpoints VPC classiques.

Les cas d'utilisation où les clusters n'ont pas d'accès réseau aux Endpoints AWS publics nécessitent ces points de terminaison Virtual Private Cloud (VPC) :

Option 2 : Déploiement étanche strict​

Si votre déploiement exige des environnements strictement isolés (air-gap) où le compute ne peut pas accéder à l'internet public, configurez des Endpoint Virtual Private Cloud (VPC) supplémentaires pour remplacer la connectivité de la passerelle NAT et de la passerelle internet.

Cette configuration élimine la passerelle NAT et la passerelle Internet. Créez plutôt les ressources suivantes :

  1. Créez un sous-réseau privé pour les Endpoint d’interface de service AWS avec une plage CIDR minimum de /27.

  2. Créez un groupe de sécurité pour les Endpoint Virtual Private Cloud (VPC) AWS avec une règle de trafic entrant autorisant le TCP 443 depuis le groupe de sécurité du Workspace.

  3. Créez un Endpoint d'interface VPC STS avec la configuration suivante :

    • Nom du service : com.amazonaws.<region>.sts
    • Sous-réseau : sous-réseau d'Endpoint AWS
    • Groupe de sécurité : groupe de sécurité des endpoints AWS
    • Activer le nom DNS privé.
    • Convention de nommage : sts-<region>-vpce (par exemple, sts-us-west-2-vpce)

  4. Créez un Endpoint d'interface Virtual Private Cloud (VPC) Kinesis avec la configuration suivante :

    • Nom du service : com.amazonaws.<region>.kinesis-streams
    • Sous-réseau : sous-réseau d'Endpoint AWS
    • Groupe de sécurité : groupe de sécurité des endpoints AWS
    • Activer le nom DNS privé.
    • Convention de nommage : kinesis-<region>-vpce (par exemple, kinesis-us-west-2-vpce)

  5. Créez un Endpoint de passerelle S3 Virtual Private Cloud (VPC). Cet Endpoint est requis et configuré de la même manière que dans la configuration standard.

Configuration d'endpoint centralisée​

Pour centraliser vos Endpoint, vérifiez les éléments suivants :

  • Les ressources de compute résolvent le nom de domaine entièrement qualifié de chaque service en l'adresse IP privée de l'Endpoint Virtual Private Cloud (VPC) correspondant.
  • Des routes existent pour permettre aux ressources de compute d'atteindre les endpoints Virtual Private Cloud (VPC).

Vérifier la connectivité du plan de compute classique​

Après avoir configuré Private Link du plan de compute classique, confirmez que votre plan de compute peut atteindre le plan de contrôle Databricks de manière privée. À partir d'un Notebook exécuté sur un compute classique, appelez un endpoint d'API REST de Workspace à l'aide d'un jeton d'accès personnel. Une réponse réussie confirme que le plan de compute atteint le Workspace via Private Link.

Dans une cellule de notebook, exécutez ce qui suit, en remplaçant <workspace-url> par l'URL de votre workspace et <your-pat> par un jeton d'accès personnel :

Bash
%sh curl -X GET https://<workspace-url>/api/2.0/token/list \
  -H "Authorization: Bearer <your-pat>"

La commande magique %sh exécute la requête depuis le nœud Driver dans votre plan de calcul. Si le plan de compute ne peut pas atteindre le plan de contrôle de manière privée, la requête expire ou ne parvient pas à se connecter. Si le test échoue, veuillez vérifier vos endpoints Virtual Private Cloud (VPC), la résolution DNS et les règles de groupe de sécurité. Veuillez consulter Configurer le DNS pour le Link privé entrant AWS.

Pour confirmer que la requête transite par Private Link plutôt que par l'Internet public, vérifiez que l'URL du Workspace se résout en l'adresse IP privée de votre Endpoint Virtual Private Cloud (VPC). Dans une cellule de notebook, exécutez ce qui suit :

Bash
%sh nslookup <workspace-url>

L'adresse résolue doit correspondre à l'IP privée de votre Endpoint VPC. Si elle se résout en une adresse publique, votre résolution DNS est mal configurée et le trafic peut être acheminé via l'Internet public même lorsque l'appel d'API REST réussit.

Ressources supplémentaires​

Sur cette page