Aller au contenu principal
Dernière mise à jour le

Configurer PrivateLink entrant pour les services exigeants en performances

Cette page explique comment configurer PrivateLink pour la connectivité entrante aux services à forte intensité de performance sur la plateforme Databricks. Cette connexion privée permet aux clients et utilisateurs externes d’accéder aux services de la plateforme **Databricks**, tels que **Zerobus** Ingest et **Lakebase** Autoscaling.

Avantages​

  • Sécurité renforcée : le trafic entre votre réseau et les services Databricks reste au sein de l'infrastructure réseau AWS.
  • Accès aux services à forte intensité de performance : connexions privées à des services comme Zerobus Ingest et Lakebase Autoscaling.
  • Exigences de conformité : répondre aux exigences réglementaires qui imposent une connectivité réseau privée.
  • Rentabilité : PrivateLink coûte moins cher que les options de connectivité publique telles que les passerelles NAT.

Databricks facture certains coûts de réseau associés aux connexions PrivateLink entrantes vers des services gourmands en performances. Pour plus d'informations, consultez Comprendre les coûts de réseau Databricks.

Exigences​

  • Votre compte Databricks doit être au niveau Enterprise.
  • Vous devez être administrateur de compte Databricks pour enregistrer des endpoints Virtual Private Cloud (VPC) et gérer les paramètres d'accès privé.
  • Vous devez avoir les autorisations dans AWS pour créer des Endpoint Virtual Private Cloud (VPC).
  • Votre région AWS doit prendre en charge PrivateLink entrant. Consultez les services d'Endpoint VPC PrivateLink pour les services régionaux d'Endpoint VPC.

Étape 1 : Créez des points de terminaison VPC​

Pour créer des Endpoint VPC entrants dans la console de gestion AWS :

  1. Accédez à la section points de terminaison Virtual Private Cloud (VPC) de la console de gestion AWS.

  2. En haut à droite, définissez la région sur la même région que votre région de Virtual Private Cloud (VPC) de transit.

  3. Cliquez sur Create Endpoint .

  4. Lorsque vous nommez l'Endpoint, Databricks recommande d'inclure la région et l'objectif, tel que databricks-us-west-2-inbound-pl-vpce.

  5. Sous Catégorie de service , sélectionnez Services d'Endpoint qui utilisent des NLB et des GWLB .

  6. Dans le champ Nom du service, collez le nom du service pour votre région. Utilisez le tableau dans les services de point de terminaison Virtual Private Cloud (VPC) PrivateLink pour trouver les noms des services PrivateLink entrants (désignés Link privé entrant pour les services à forte intensité de performances dans le tableau).

  7. Cliquez sur Vérifier le service et vérifiez que Nom du service vérifié apparaît dans un cadre vert. Si vous rencontrez une erreur indiquant "Service name could not be verified", vérifiez que les régions de votre Virtual Private Cloud (VPC), de vos sous-réseaux et de votre nouvel Endpoint Virtual Private Cloud (VPC) correspondent correctement.

  8. Dans VPC , sélectionnez votre Virtual Private Cloud (VPC) de transit.

  9. Dans Sous-réseaux , sélectionnez un sous-réseau. Si vous déployez dans ap-northeast-1, ap-northeast-2, us-east-1, ou us-west-2, vérifiez que vous utilisez uniquement les zones de disponibilité prises en charge répertoriées dans Prise en charge des zones de disponibilité.

  10. Dans la section Groupes de sécurité , sélectionnez le groupe de sécurité que vous avez créé pour les connexions entrantes.

  11. (Facultatif) Activez les noms DNS privés pour l'Endpoint Virtual Private Cloud (VPC).

attention

Nous vous recommandons de ne pas activer les noms DNS privés à cette étape. L'activation du DNS privé achemine immédiatement le trafic via PrivateLink, mais les requêtes sont rejetées tant que vous n'avez pas terminé l'enregistrement et la configuration de l'Endpoint Virtual Private Cloud (VPC) lors des étapes suivantes. Au lieu de cela, configurez le DNS après avoir terminé la configuration, à l'étape 5.

  1. Cliquez sur Créer un Endpoint .

  2. Enregistrez les informations suivantes pour les étapes ultérieures :

    • L'ID du Endpoint Virtual Private Cloud (VPC)
    • L'adresse IPv4 de l'endpoint Virtual Private Cloud (VPC) dans le sous-réseau que vous avez sélectionné.
remarque

Le groupe de sécurité que vous sélectionnez pour les connexions entrantes doit autoriser le trafic entrant pour le service auquel vous vous connectez via le Endpoint Virtual Private Cloud (VPC) :

  • Lakebase Autoscaling : autorisez le trafic TCP entrant sur le port 5432 (Postgres) depuis les groupes de sécurité ou les plages CIDR des clients qui se connectent. Ceci couvre psql, les drivers et ORM Postgres, ainsi que l'éditeur de tables et l'éditeur SQL.
  • Zerobus Ingest : Autorisez le TCP entrant sur le port 443.

Vous n'avez pas besoin de configurer les règles de trafic sortant. Les groupes de sécurité sont avec état, donc le trafic de réponse pour une connexion entrante autorisée est automatiquement permis.

Étape 2 : Enregistrez les points de terminaison VPC​

Après avoir créé vos endpoints Virtual Private Cloud (VPC) dans la Console de gestion AWS, enregistrez-les auprès de Databricks. Vous ne pouvez pas mettre à jour une configuration réseau après l'avoir créée. Suivez ces étapes pour enregistrer vos Endpoint Virtual Private Cloud (VPC) :

  1. Accédez à la console de compte Databricks.

  2. Cliquez sur **Sécurité** dans la barre latérale.

  3. Cliquez sur Points de terminaison privés dans la navigation verticale.

  4. Cliquez sur Enregistrer un endpoint privé .

  5. Saisissez un nom descriptif pour l'enregistrement de votre Endpoint Virtual Private Cloud (VPC).

    • Une convention de nommage incluant la région et l'objectif est recommandée, telle que VPCE us-west-2 for Service-Direct.

  6. Sélectionnez la région appropriée. La région doit correspondre à la fois à la région de votre Workspace et à la région de l'Endpoint Virtual Private Cloud (VPC) AWS que vous enregistrez.

  7. Collez l'ID d'Endpoint VPC AWS dans le **champ ID d'Endpoint VPC AWS**.

  8. Cliquez sur Enregistrer un nouvel Endpoint Virtual Private Cloud (VPC) .

Si vous utilisez Classic compute et que vous avez plusieurs workspaces qui partagent le même Virtual Private Cloud (VPC) géré par les clients, vous pouvez partager des Endpoints Virtual Private Cloud (VPC) AWS entre eux. Pour plusieurs comptes Databricks, vous pouvez enregistrer l'Endpoint Virtual Private Cloud (VPC) AWS dans chaque compte.

Étape 3 : Configurez la politique d'accès privé​

Une fois que vous avez enregistré votre Endpoint Virtual Private Cloud (VPC) Service Direct, il existe deux façons de configurer une stratégie d'accès privé pour votre Workspace : avec une entrée basée sur le contexte ou avec des paramètres d'accès privé. L'approche d'entrée basée sur le contexte vous permet de configurer un accès granulaire en combinant l'identité, le type de requête et les conditions de source réseau. Consultez le contrôle d'entrée basé sur le contexte. Les paramètres d'accès privé sont des politiques tout ou rien, liées à la région.

Pour que le trafic soit autorisé, les paramètres d'accès privé et l'entrée basée sur le contexte doivent tous deux autoriser l'endpoint. Par défaut, l'entrée basée sur le contexte est définie sur Autoriser l'accès depuis tous les private endpoints , ce qui reporte la décision d'accès au paramètre d'accès privé du workspace. Si vous souhaitez configurer des politiques d'accès privé basées sur le contexte, assurez-vous que votre workspace dispose d'un paramètre d'accès privé attaché, avec tous les endpoints privés enregistrés autorisés (voir plus ci-dessous). Cela reportera la décision d'accès à la politique d'entrée basée sur le contexte de votre Workspace. Vous pouvez réutiliser le même paramètre d'accès privé "autoriser tous les accès" dans n'importe quel workspace de la même région.

info

Aperçu

La configuration de l’accès privé aux Workspace à l’aide de l’entrée contextuelle (méthode 1) est en version bêta.

  1. Dans la console du compte, cliquez sur Sécurité dans la barre latérale.

  2. Cliquez sur Contrôle d'entrée et de sortie basé sur le contexte dans la barre latérale.

  3. Sous Stratégies au niveau du Workspace , cliquez sur Nouvelle stratégie Workspace .

  4. Sous Entrée > Accès réseau privé , définissez votre stratégie d'accès privé.

    1. Par default, tous les Endpoint enregistrés sont autorisés : Autoriser l'accès de tous les Endpoint privés . Si cela est acceptable, passez à l'étape suivante. Ce default inclut seulement les 200 premiers endpoints Virtual Private Cloud (VPC) enregistrés ; si votre politique en exige davantage, contactez votre équipe de compte pour une augmentation.
    2. Si vous souhaitez autoriser spécifiquement certains Endpoints enregistrés tout en refusant tous les autres, décochez Autoriser l'accès depuis tous les Endpoints privés et ajoutez une règle d'autorisation.
      1. Sélectionnez les identités et les destinations du workspace auxquelles vous souhaitez autoriser l'accès (par default, toutes sont autorisées).
      2. Sélectionnez ensuite le type de source = Endpoints privés sélectionnés , et sélectionnez les Endpoint(s) Virtual Private Cloud (VPC) Service Direct que vous avez enregistrés. La région de cet Endpoint Virtual Private Cloud (VPC) doit correspondre à la région de votre workspace. Un Endpoint Service Direct ne peut servir que les Workspace de la même région.
      3. Cliquez sur Confirmer .
      4. Vous pouvez également ajouter des règles de refus dans votre stratégie, qui définissent des exceptions à vos règles d'autorisation.

  5. Lorsque vous avez terminé de configurer votre politique d'accès privé, vous pouvez également configurer votre politique d'accès public dans Entrée > Accès réseau public . Vous pouvez désactiver tout accès IP public en décochant Autoriser l’accès depuis toutes les adresses IP publiques . Databricks recommande de maintenir l’accès public activé pendant le test de votre configuration DNS, puis de le désactiver une fois le DNS finalisé pour appliquer une connectivité privée exclusive.

  6. Testez d'abord votre politique d'entrée en mode simulation , avant de la passer en mode appliqué . Les refus d'accès en mode simulation sont enregistrés dans la table système system.access.inbound_network mais ne bloqueront pas l'accès.

  7. Assurez-vous que votre politique d' égression est correcte.

  8. Associez votre politique à votre workspace.

  9. Enregistrez votre politique réseau. Les mises à jour des politiques d'ingestion basées sur le contexte prennent moins de 10 minutes pour prendre effet. Vous pouvez utiliser une politique réseau par workspace, ou partager une politique unique entre des workspaces qui utilisent les mêmes règles d'entrée et de sortie, de sorte que vous la définissez une seule fois et l'attachez n'importe où.

  10. Associez un paramètre d'accès privé « autoriser tous les accès » à votre Workspace. Les Workspaces auxquels aucun paramètre d'accès privé n'est associé se voient refuser tout accès privé, quelle que soit la politique de réseau.

    1. Dans la console du compte, cliquez sur Sécurité dans la barre latérale.
    2. Cliquez sur Paramètres d'accès privé dans la barre latérale.
    3. Cliquez sur Ajouter des paramètres d'accès privé .
    4. Saisissez un nom pour votre nouvel objet de paramètres d'accès privé.
    5. Sélectionnez une région qui correspond à la région de votre Workspace.
    6. Configurez le champ Accès public activé sur True .
    7. Sélectionnez un niveau d'accès privé : compte .
    8. Cliquez sur Ajouter des paramètres d'accès privé .
    9. Maintenant, dans votre Workspace, cliquez sur Configurations avancées pour afficher les champs supplémentaires.
    10. Dans le menu déroulant PrivateLink , choisissez le nom de l'objet de paramètres d'accès privé que vous avez créé lors des étapes précédentes.
    11. Cliquez sur Enregistrer .

Étape 4 : Configurez le DNS pour PrivateLink entrant​

Pour compléter votre configuration PrivateLink, configurez des paramètres DNS personnalisés pour acheminer le trafic via vos Endpoint Virtual Private Cloud (VPC). Pour des instructions détaillées, consultez Configurer le DNS pour le Link privé entrant AWS.

Étape 5 : Vérifier la connectivité réseau​

Testez la connectivité depuis votre client pour vérifier que le PrivateLink entrant est correctement configuré.

Vérifier la résolution DNS​

Confirmez que les requêtes DNS se résolvent en l'adresse IP privée de l'Endpoint Virtual Private Cloud (VPC) que vous avez créé précédemment :

Bash
dig <region>.service-direct.privatelink.cloud.databricks.com

Ou utilisez nslookup comme alternative :

Bash
nslookup <region>.service-direct.privatelink.cloud.databricks.com

Les deux commandes devraient renvoyer l'adresse IP privée de votre Endpoint Virtual Private Cloud (VPC).

Tester la connectivité de base​

Vérifiez que vous pouvez vous connecter à l'Endpoint PrivateLink :

Bash
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443

La vérification 443 confirme uniquement que l’Endpoint du Virtual Private Cloud (VPC) est joignable. Ce n'est pas le chemin des données pour Lakebase Autoscaling, qui utilise Postgres sur le port 5432. Pour valider la connectivité d'autoscaling de Lakebase, testez le port Postgres par rapport à votre hôte Lakebase : nc -vz <lakebase-host> 5432.

Si la connexion réussit, vous avez configuré correctement votre PrivateLink entrant. Pour les tests de connectivité spécifiques aux produits (tels que Zerobus Ingest ou Lakebase Autoscaling), consultez la documentation de ces services.

Limitations​

Soyez conscient des limitations suivantes :

  • Limite d'Endpoint Virtual Private Cloud (VPC) : La limite par default pour les Endpoints Virtual Private Cloud (VPC) de tout type est de 110 par compte. Si vous avez besoin d'une augmentation de quota, veuillez contacter votre équipe de compte Databricks.
  • Restrictions de zone de disponibilité : Certaines régions AWS prennent en charge PrivateLink uniquement dans des zones de disponibilité spécifiques. Consultez la prise en charge des zones de disponibilité.
  • Restrictions du compute classique : Lors de l'accès à PrivateLink entrant depuis une Ressource compute classique standard, le système bloque le trafic vers les adresses IP de votre CIDR de workspace, sauf sur les ports 80, 443 et 53. Cette restriction s'applique uniquement lorsque vous créez l'endpoint Virtual Private Cloud (VPC) à l'intérieur de votre Virtual Private Cloud (VPC) de workspace. Pour contourner cette limitation, créez l'endpoint Virtual Private Cloud (VPC) dans un Virtual Private Cloud (VPC) séparé et configurez le peering Virtual Private Cloud (VPC) entre les deux Virtual Private Cloud (VPC).

Prise en charge des zones de disponibilité​

Certaines régions AWS prennent en charge PrivateLink pour les services à forte intensité de performances uniquement dans des zones de disponibilité spécifiques. Si vous effectuez un déploiement dans l'une des régions suivantes, assurez-vous que les sous-réseaux de vos Endpoint VPC se trouvent dans les zones de disponibilité prises en charge :

Région

Zones de disponibilité prises en charge

ap-northeast-1

apne1-az1, apne1-az2, apne1-az4

ap-northeast-2

apne2-az1, apne2-az3

us-east-1

use1-az1, use1-az2, use1-az4

us-west-2

usw2-az1, usw2-az2, usw2-az3

Région

Zones de disponibilité prises en charge

ap-northeast-1

apne1-az1, apne1-az2, apne1-az4

ap-northeast-2

apne2-az1, apne2-az3

us-east-1

use1-az1, use1-az2, use1-az4

us-west-2

usw2-az1, usw2-az2, usw2-az3

Toutes les autres régions prises en charge autorisent toutes les zones de disponibilité.

Ressources supplémentaires​

Sur cette page