Aller au contenu principal
Dernière mise à jour le

Appairage de Virtual Private Cloud (VPC)

Le peering Virtual Private Cloud (VPC) permet à vos clusters Databricks de se connecter à votre autre infrastructure AWS (RDS, Redshift, Kafka, Cassandra, etc.) en utilisant des adresses IP privées au sein du réseau interne d'AWS.

Le Virtual Private Cloud (VPC) hébergeant l’autre infrastructure doit avoir une plage CIDR distincte du Virtual Private Cloud (VPC) Databricks et de toute autre plage CIDR incluse comme destination dans la table de routage principale du Virtual Private Cloud (VPC) Databricks. En cas de conflit, vous pouvez contacter le support Databricks pour demander le déplacement de votre Virtual Private Cloud (VPC) Databricks vers une nouvelle plage CIDR de votre choix. Vous pouvez l’afficher en recherchant le Virtual Private Cloud (VPC) Databricks dans votre Console AWS, en cliquant sur la table de routage principale qui y est associée, puis en examinant l’onglet **tab**. Voici un exemple de table de routage principale pour un déploiement Databricks déjà appairé avec plusieurs autres VPC :

Table de routage Virtual Private Cloud (VPC) Databricks

Pour plus d'informations sur l'appairage de VPC, consultez le guide d'appairage de VPC AWS.

Ce guide vous présente un exemple de peering d'un AWS Aurora RDS à votre Virtual Private Cloud (VPC) Databricks à l'aide de la console AWS. Si vous préférez une solution par programmation, rendez-vous sur Appairage de Virtual Private Cloud (VPC) par programmation pour un Notebook qui effectue toutes les étapes pour vous. Enfin, il y a une section de dépannage pour les problèmes courants et les solutions.

important

Consultez votre équipe AWS/DevOps avant d'essayer de configurer le peering Virtual Private Cloud (VPC). Une certaine familiarité avec AWS ainsi que des autorisations suffisantes garantiront le bon déroulement de ce processus. Le Notebook peut vous aider à effectuer cette transition ; cependant, selon votre environnement, il est important de vous assurer d’apporter les modifications nécessaires afin de garantir l’absence d’impact sur votre infrastructure existante.

Exemple de console AWS​

Le diagramme suivant illustre tous les différents composants impliqués dans le jumelage de votre déploiement Databricks avec votre autre infrastructure AWS. Dans l'exemple, Databricks est déployé dans un compte AWS et Aurora RDS est déployé dans un autre. Une connexion de jumelage est établie pour Link les deux VPCs entre les deux comptes AWS.

Connexion d'appairage de Virtual Private Cloud (VPC) entre comptes AWS

Au fur et à mesure que vous progressez dans ce processus au sein de votre propre console AWS, il est utile de conserver un tableau d'information auquel vous référer. Enregistrer ce qui suit :

  1. ID et plage CIDR de votre Virtual Private Cloud (VPC) Databricks.
  2. ID et plage CIDR de votre autre infrastructure (Aurora RDS).
  3. ID de la table de routage principale de votre Virtual Private Cloud (VPC) Databricks.

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Créer une connexion d'appairage​

  1. Accédez au tableau de bord Virtual Private Cloud (VPC) .

  2. Sélectionnez Connexions d'appairage .

  3. Cliquez sur Créer une connexion d’appairage

  4. Définissez le **demandeur de Virtual Private Cloud (VPC)** sur l'ID de Virtual Private Cloud (VPC) Databricks.

  5. Définissez l'**Accepteur Virtual Private Cloud (VPC)** sur l'ID du Virtual Private Cloud (VPC) Aurora.

  6. Cliquez sur Créer une connexion d'appairage .

    Créer une connexion de peering

Enregistrez l'ID de la connexion d'appairage​

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Connexion d'appairage

VPC Databricks vs VPC Aurora

pcx-4d148024

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Connexion d'appairage

VPC Databricks vs VPC Aurora

pcx-4d148024

Accepter la demande de connexion d'appairage​

Le Virtual Private Cloud (VPC) avec l’Aurora RDS nécessitera l’approbation de son propriétaire. Le statut des connexions d’appairage indique **En attente d’acceptation** jusqu’à ce que cela soit fait.

Connexion d'appairage en attente d'acceptation

Sélectionnez Actions > Accepter la demande .

Requête d'acceptation de connexion de Peering

Ajouter la résolution DNS à la connexion d'appairage​

  1. Connectez-vous au compte AWS qui héberge le Virtual Private Cloud (VPC) Databricks.
  2. Accédez au tableau de bord Virtual Private Cloud (VPC) .
  3. Sélectionnez Connexions d'appairage .
  4. Dans le menu Actions, sélectionnez **Modifier les paramètres DNS**.
  5. Cliquez pour activer la résolution DNS .
  6. Connectez-vous au compte AWS qui héberge le Virtual Private Cloud (VPC) Aurora et répétez les sous-étapes 2 à 4.

Activer la résolution DNS

Ajoutez la destination à la table de routage principale du Virtual Private Cloud (VPC) Databricks​

  1. Sélectionnez **Tables de routage** dans le tableau de bord Virtual Private Cloud (VPC).

  2. Recherchez l'ID du Virtual Private Cloud (VPC) Databricks.

  3. Cliquez sur le bouton **Modifier** sous l'onglet **tab**.

  4. Cliquez sur Ajouter un autre itinéraire .

  5. Saisissez la plage CIDR du Virtual Private Cloud (VPC) Aurora pour la **destination**.

  6. Saisissez l'ID de la connexion de peering pour la cible .

    Databricks Virtual Private Cloud (VPC) Destinations de routage

Ajouter une destination à la table de routage principale d'Aurora Virtual Private Cloud (VPC)​

  1. Sélectionnez **Tables de routage** dans le tableau de bord Virtual Private Cloud (VPC).

  2. Recherchez l'ID du Virtual Private Cloud (VPC) Aurora.

  3. Cliquez sur le bouton **Modifier** sous l'onglet **tab**.

  4. Cliquez sur Ajouter un autre itinéraire .

  5. Saisissez la plage CIDR du Virtual Private Cloud (VPC) Databricks pour la destination .

  6. Saisissez l'ID de la connexion de peering pour la cible .

    Destinations des routes Virtual Private Cloud (VPC) Aurora

Rechercher le groupe de sécurité des Worker Databricks​

  1. Sélectionnez **Security Groups** dans le Tableau de bord Virtual Private Cloud (VPC).
  2. Recherchez l'ID du Virtual Private Cloud (VPC) Databricks.
  3. Si vous utilisez un Virtual Private Cloud (VPC) géré par Databricks, recherchez et enregistrez l'ID du groupe de sécurité associé aux nœuds Worker Databricks. Les anciens workspaces pourraient nommer ce groupe Unmanaged , bien que les nouveaux workspaces puissent utiliser un nom différent tel que no-ingress ou workers . Recherchez le groupe de sécurité qui *n'est pas* étiqueté **Géré**. Si vous voyez plus d'un groupe non géré, sélectionnez celui utilisé par les nœuds worker de votre cluster Databricks.
  4. Si vous utilisez un Virtual Private Cloud (VPC) géré par le client, tout groupe de sécurité enregistré dans votre Virtual Private Cloud (VPC) géré par le client fonctionnera.

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Connexion d'appairage

VPC Databricks vs VPC Aurora

pcx-4d148024

Groupe de sécurité

Groupe de Worker Databricks

sg-96016bef

Service AWS

Nom

ID

Plage CIDR

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Databricks

vpc-dbcb3fbc

10.126.0.0/16

Virtual Private Cloud (VPC)

Virtual Private Cloud (VPC) Aurora RDS

vpc-7b52471c

172.78.0.0/16

Table de routage

Table de routage principale Databricks

rtb-3775c750

Connexion d'appairage

VPC Databricks vs VPC Aurora

pcx-4d148024

Groupe de sécurité

Groupe de Worker Databricks

sg-96016bef

Ajouter une règle au groupe de sécurité Aurora​

  1. Sélectionnez **Security Groups** dans le Tableau de bord Virtual Private Cloud (VPC).

  2. Recherchez l'ID du VPC Aurora.

  3. Ajoutez une **règle entrante** en cliquant sur **Modifier**, puis sur **Ajouter une autre règle**.

  4. Sélectionnez Règle TCP personnalisée ou le service lié à votre RDS.

  5. Définissez la Plage de ports pour qu'elle corresponde à votre service RDS. Le default pour Aurora [MySQL] est 3306.

  6. Définissez la Source comme étant l'ID du groupe de sécurité du worker Databricks que vous avez enregistré lors de la recherche du groupe de sécurité du worker.

    Règle du groupe de sécurité Aurora

Tester la connectivité​

  1. Créez un cluster Databricks.

  2. Vérifiez si vous pouvez vous connecter à la base de données avec la commande netcat suivante :

    Bash
    %sh nc -zv <hostname> <port>

    Valider la connectivité

Peering de Virtual Private Cloud (VPC) programmatique​

Ce notebook prend en charge deux scénarios :

  • Établir l'appairage Virtual Private Cloud (VPC) entre le Virtual Private Cloud (VPC) Databricks et un autre Virtual Private Cloud (VPC) dans le même compte AWS
  • Établir le peering de Virtual Private Cloud (VPC) entre le Virtual Private Cloud (VPC) Databricks et un autre Virtual Private Cloud (VPC) dans un compte AWS différent

Notebook d'appairage Virtual Private Cloud (VPC)

Ouvrir le notebook dans un nouvel ongletOuvrir dans Databricks

Dépannage​

Impossible d'établir la connectivité avec netcat

Si vous ne pouvez pas établir de connectivité avec netcat, vérifiez que le hostname se résout via DNS à l'aide de la commande host Linux. Si le hostname ne se résout pas, vérifiez que vous avez activé la résolution DNS dans votre connexion de peering.

Bash
%sh host -t a <hostname>

Valider la résolution DNS

Impossible d’établir la connectivité avec le Hostname ou l’adresse IP.

Si vous ne parvenez pas à établir la connectivité avec le Hostname ou l'adresse IP, vérifiez que le Virtual Private Cloud (VPC) de votre Aurora RDS dispose de 3 sous-réseaux associés à sa table de routage principale.

  1. Sélectionnez Sous-réseaux depuis le Tableau de bord Virtual Private Cloud (VPC) et recherchez l'ID du Virtual Private Cloud (VPC) Aurora. Il devrait y avoir un sous-réseau pour chaque zone de disponibilité.

    Sous-réseaux Virtual Private Cloud (VPC) Aurora

  2. Assurez-vous que chacun de ces sous-réseaux est associé à la table de routage principale.

    1. Sélectionnez Tables de routage dans le tableau de bord VPC et recherchez la table de routage principale associée à Aurora RDS.

    2. Cliquez sur l'onglet **Associations de sous-réseaux** puis sur **Modifier**. Vous devriez voir les 3 sous-réseaux dans la liste, mais aucun d'entre eux ne devrait avoir **Associer** sélectionné.

      Associations de sous-réseaux Aurora

DNS ne fonctionne pas.

Vérifiez dans Route 53 et confirmez que le Virtual Private Cloud (VPC) Databricks est associé aux zones hébergées privées utilisées au sein de votre Virtual Private Cloud (VPC).

Sur cette page