Aller au contenu principal
Dernière mise à jour le

Configurer le DNS pour le Private Service Connect entrant de Google Cloud

Configurez le DNS pour acheminer les requêtes utilisateur via votre réseau privé lors de l'utilisation de Private Service Connect entrant pour les workspaces Databricks. Cette page couvre le modèle de résolution DNS et les instructions de configuration étape par étape pour une zone privée Cloud DNS dans votre Virtual Private Cloud (VPC) de transit.

remarque

Cette page couvre la configuration DNS de Private Service Connect entrant. Si vous activez également Private Service Connect pour le plan de compute classique, assurez-vous que l'URL du workspace et l'URL du plan de données se résolvent de manière cohérente vers le même endpoint Private Service Connect depuis le VPC qui héberge vos ressources de compute classique. Voir Bonne pratique : résolution DNS cohérente pour Private Service Connect du plan de compute classique.

Présentation de l'architecture​

La fonctionnalité Inbound Private Service Connect sur Google Cloud achemine le trafic depuis votre VPC de transit vers un Private Service Connect Endpoint qui cible l’association de service du Databricks Workspace. Votre zone DNS privée résout l’URL du Workspace, l’URL du plan de données et l’URL d’authentification du navigateur vers l’adresse IP de l’Endpoint Private Service Connect dans le Virtual Private Cloud (VPC) de transit.

Vous pouvez partager un Virtual Private Cloud (VPC) de transit entre plusieurs workspaces dans la même région, mais le VPC de transit ne doit contenir que des workspaces qui utilisent Private Service Connect entrant ou uniquement des workspaces qui ne l’utilisent pas. La résolution DNS de Google Cloud ne prend pas en charge le mélange des deux types dans un seul Virtual Private Cloud (VPC) de transit.

Résolution DNS avec Private Service Connect​

Sans Private Service Connect, les URL des Workspace se résolvent en adresses IP publiques via le frontend régional Databricks. Après avoir joint un objet de paramètres d'accès privé à un workspace, Databricks ajoute un hostname psc.gcp.databricks.com intermédiaire à la chaîne de résolution. Remplacez ce hostname dans votre zone DNS privée pour pointer vers l'adresse IP privée de votre endpoint Private Service Connect.

Votre zone DNS privée doit résoudre trois enregistrements vers l'adresse IP privée de votre Private Service Connect Endpoint :

  • L'URL du Workspace (<workspace-id>.<n>.gcp.databricks.com), que les navigateurs et les clients du Virtual Private Cloud (VPC) de transit utilisent pour accéder au Workspace.
  • L'URL du plan de données (dp-<workspace-id>.<n>.gcp.databricks.com), utilisée par le compute classique et certains services du plan de contrôle.
  • L'URL d'authentification du navigateur (<region>.psc-auth.gcp.databricks.com), requise pour les connexions via un navigateur web. L'accès via API REST uniquement ne nécessite pas cet enregistrement.

Dans ces URL, <n> est un chiffre compris entre 0 et 9 que Databricks attribue à votre workspace, et non un code de région. Utilisez la valeur exacte de l'URL de votre workspace, que vous pouvez trouver dans la barre d'adresse du navigateur lorsque vous consultez le workspace ou dans la liste des workspaces de la console du compte.

Pour les Workspace qui utilisent soit le plan de compute classique, soit Private Service Connect entrant, le hostname Private Service Connect intermédiaire est <region>.psc.gcp.databricks.com. Ce hostname sépare le trafic des Workspace activés pour Private Service Connect des autres services Databricks qui ne prennent pas en charge Private Service Connect, tels que la console de compte.

Prérequis​

Avant de configurer le DNS, vérifiez que vous disposez des éléments suivants :

  • Un workspace Databricks déployé avec Private Service Connect entrant. Voir Configurer Private Service Connect entrant.
  • Un endpoint Private Service Connect dans votre VPC de transit connecté à l'attachement de service plproxy-psc-endpoint-all-ports pour votre région. Notez l'adresse IP privée de l'endpoint.
  • L'URL du workspace pour votre workspace déployé. Obtenez-la depuis la barre d'adresse du navigateur dans l'interface utilisateur du workspace ou depuis la liste des workspaces dans la console de compte.
  • Autorisations Google Cloud pour créer des zones et des enregistrements Cloud DNS dans le projet qui héberge le VPC de transit.

Configurer une zone privée Cloud DNS​

Créez une zone privée Cloud DNS pour le domaine gcp.databricks.com et ajoutez des enregistrements A qui résolvent chaque URL Databricks vers l'adresse IP privée de votre endpoint Private Service Connect.

Étape 1 : Créer une zone privée Cloud DNS​

  1. Dans la console Google Cloud, accédez aux zones Cloud DNS.
  2. Cliquez sur Créer une zone .
  3. Pour Zone type , sélectionnez Private .
  4. Pour Nom DNS , saisissez gcp.databricks.com.
  5. Pour Réseaux , sélectionnez votre réseau Virtual Private Cloud (VPC) de transit.
  6. Cliquez sur « Créer ».

Étape 2 : ajouter des enregistrements A pour les URL du workspace​

Ajoutez trois enregistrements A dans la nouvelle zone, pointant tous vers l'adresse IP privée de votre Endpoint Private Service Connect entrant. Les exemples suivants supposent que l'adresse IP de l'endpoint est 10.0.0.2 et que l'ID du workspace est 33333333333333.3.

Nom de l'enregistrement

Type d’enregistrement

Valeur

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Nom de l'enregistrement

Type d’enregistrement

Valeur

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

Pour un workspace situé à 33333333333333.3.gcp.databricks.com dans la région us-east4, les enregistrements sont :

  • 33333333333333.3.gcp.databricks.com → 10.0.0.2
  • dp-33333333333333.3.gcp.databricks.com → 10.0.0.2
  • us-east4.psc-auth.gcp.databricks.com → 10.0.0.2
remarque

Si vous avez uniquement besoin d'une connexion Private Service Connect entrante depuis le réseau de transit pour un accès à l'API REST (sans connexion via navigateur), vous pouvez omettre l'enregistrement psc-auth.gcp.databricks.com. La plupart des déploiements le nécessitent.

Étape 3 : vérifier les enregistrements dans la console​

Dans la vue de la zone Cloud DNS, confirmez que les trois enregistrements A apparaissent et se résolvent vers la même adresse IP de l'Endpoint Private Service Connect.

Vérification​

Après avoir créé les enregistrements DNS, vérifiez que les URL de l'espace de travail (Workspace) se résolvent vers l'adresse IP de l'Endpoint Private Service Connect à partir d'un client dans le Virtual Private Cloud (VPC) de transit.

Depuis une machine virtuelle dans le transit Virtual Private Cloud (VPC), exécutez nslookup sur chaque URL :

Bash
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2

Chaque commande doit renvoyer l’adresse IP privée de votre endpoint Private Service Connect entrant.

Problèmes courants​

La résolution DNS renvoie des adresses IP publiques : la zone privée Cloud DNS n'est pas associée au Virtual Private Cloud (VPC) de transit, ou les query ne l'atteignent pas. Vérifiez les liaisons réseau de la zone.

Les redirections de connexion du navigateur échouent ou restent bloquées : l’enregistrement <region>.psc-auth.gcp.databricks.com est manquant ou pointe vers une adresse IP différente de celle de l’URL du workspace. Ajoutez ou mettez à jour l’enregistrement.

L'échec du Startup du cluster après l'activation de Private Service Connect pour le plan de compute classique : l'URL du workspace et l'URL du plan de données doivent pointer vers le même Endpoint Private Service Connect depuis le VPC du plan de compute classique. S'ils pointent vers des Endpoint différents, les nœuds du cluster ne peuvent pas atteindre le plan de contrôle de manière cohérente. Consultez Bonne pratique : résolution DNS cohérente.

Bonne pratique : résolution DNS cohérente pour Private Service Connect du plan de compute classique​

Si vous configurez à la fois Inbound et classic compute plane Private Service Connect, l’URL du workspace et l’URL du plan de données (dp-<workspace-id>.<n>.gcp.databricks.com) doivent pointer vers le même Private Service Connect Endpoint depuis chaque VPC qui les utilise.

Lorsqu'un nœud de compute démarre, Databricks utilise les deux URL pour atteindre le plan de contrôle. S'ils se résolvent vers des Endpoint différents, cette incohérence peut entrer en conflit avec votre politique de paramètres d'accès privé et entraîner des échecs de compute.

Pour vérifier, exécutez la commande suivante à partir d'une machine virtuelle dans le Virtual Private Cloud (VPC) du plan de compute classique. Les deux commandes doivent renvoyer la même adresse IP privée :

Bash
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com

S'ils ne correspondent pas, mettez à jour la zone Cloud DNS dans le VPC du plan de compute classique (ou le VPC de transit s'il sert également de VPC du plan de compute classique) afin que les deux enregistrements pointent vers le même endpoint Private Service Connect.

Et ensuite​

Sur cette page