Configurer le DNS pour le Private Service Connect entrant de Google Cloud
Bêta
L'accès privé aux ressources au niveau du compte est en version bêta. Activez Ingress basé sur le contexte : Politique de compte pour commencer.
Configurez le DNS pour acheminer les requêtes des utilisateurs via votre réseau privé lors de l’utilisation de Private Service Connect entrant pour les workspaces Databricks et les ressources au niveau du compte. Cette page couvre le modèle de résolution DNS et les instructions de configuration étape par étape pour une zone privée Cloud DNS dans votre Virtual Private Cloud (VPC) de transit.
Cette page couvre la configuration DNS de Private Service Connect entrant. Si vous activez également Private Service Connect pour le plan de compute classique, assurez-vous que l'URL du workspace et l'URL du plan de données se résolvent de manière cohérente vers le même endpoint Private Service Connect depuis le VPC qui héberge vos ressources de compute classique. Voir Bonne pratique : résolution DNS cohérente pour Private Service Connect du plan de compute classique.
Présentation de l'architecture
La fonctionnalité Inbound Private Service Connect sur Google Cloud achemine le trafic depuis votre VPC de transit vers un Private Service Connect Endpoint qui cible l’association de service du Databricks Workspace. Votre zone DNS privée résout l’URL du Workspace, l’URL du plan de données et l’URL d’authentification du navigateur vers l’adresse IP de l’Endpoint Private Service Connect dans le Virtual Private Cloud (VPC) de transit.
Vous pouvez partager un Virtual Private Cloud (VPC) de transit entre plusieurs workspaces dans la même région, mais le VPC de transit ne doit contenir que des workspaces qui utilisent Private Service Connect entrant ou uniquement des workspaces qui ne l’utilisent pas. La résolution DNS de Google Cloud ne prend pas en charge le mélange des deux types dans un seul Virtual Private Cloud (VPC) de transit.
Résolution DNS avec Private Service Connect
Sans Private Service Connect, les URL des Workspace se résolvent en adresses IP publiques via le frontend régional Databricks. Après avoir joint un objet de paramètres d'accès privé à un workspace, Databricks ajoute un hostname <region>.psc.gcp.databricks.com intermédiaire à la chaîne de résolution. Remplacez ce hostname dans votre zone DNS privée pour pointer vers l'adresse IP privée de votre endpoint Private Service Connect.
Votre zone DNS privée doit résoudre trois enregistrements vers l'adresse IP privée de votre Private Service Connect Endpoint :
- L'URL du Workspace (
<workspace-id>.<n>.gcp.databricks.com), que les navigateurs et les clients du Virtual Private Cloud (VPC) de transit utilisent pour accéder au Workspace. - L'URL du plan de données (
dp-<workspace-id>.<n>.gcp.databricks.com), utilisée par le compute classique et certains services du plan de contrôle. - L'URL d'authentification du navigateur (
<region>.psc-auth.gcp.databricks.com), requise pour les connexions via un navigateur web. L'accès via API REST uniquement ne nécessite pas cet enregistrement.
Dans ces URL, <n> est un chiffre compris entre 0 et 9 que Databricks attribue à votre workspace, et non un code de région. Utilisez la valeur exacte de l'URL de votre workspace, que vous pouvez trouver dans la barre d'adresse du navigateur lorsque vous consultez le workspace ou dans la liste des workspaces de la console du compte.
Pour les workspaces qui utilisent le plan de compute classique ou Private Service Connect entrant, le Hostname intermédiaire Private Service Connect est <region>.psc.gcp.databricks.com. Ce Hostname sépare le trafic des workspaces compatibles Private Service Connect des autres services Databricks.
Les URL personnalisées (<my-custom-account-name>.databricks.com) et accounts.gcp.databricks.com n’incluent pas le hostname psc dans leur chaîne de résolution DNS et doivent être résolues séparément. Voir Ajouter des enregistrements pour les ressources au niveau du compte et les URL personnalisées.
Prérequis
Avant de configurer le DNS, vérifiez que vous disposez des éléments suivants :
- Un workspace Databricks déployé avec Private Service Connect entrant, ou un endpoint General Access enregistré pour les ressources au niveau du compte. Voir Configurer Private Service Connect entrant pour les Workspace et Configurer Private Service Connect entrant pour les ressources au niveau du compte.
- Un endpoint Private Service Connect dans votre VPC de transit connecté à l'attachement de service
plproxy-psc-endpoint-all-portspour votre région. Notez l'adresse IP privée de l'endpoint. - L'URL du workspace pour votre workspace déployé. Obtenez-la depuis la barre d'adresse du navigateur dans l'interface utilisateur du workspace ou depuis la liste des workspaces dans la console de compte.
- Autorisations Google Cloud pour créer des zones et des enregistrements Cloud DNS dans le projet qui héberge le VPC de transit.
Configurer une zone privée Cloud DNS
Créez une zone privée Cloud DNS pour le domaine gcp.databricks.com et ajoutez des enregistrements A qui résolvent chaque URL Databricks vers l'adresse IP privée de votre endpoint Private Service Connect.
Créer une zone privée Cloud DNS
- Dans la console Google Cloud, accédez aux zones Cloud DNS.
- Cliquez sur Créer une zone .
- Pour Zone type , sélectionnez Private .
- Pour Nom DNS , saisissez
gcp.databricks.com. - Pour Réseaux , sélectionnez votre réseau Virtual Private Cloud (VPC) de transit.
- Cliquez sur « Créer ».
Ajoutez des enregistrements A pour les URL de workspace
Ajoutez trois enregistrements A dans la nouvelle zone, pointant tous vers l'adresse IP privée de votre Endpoint Private Service Connect entrant. Les exemples suivants supposent que l'adresse IP de l'endpoint est 10.0.0.2 et que l'ID du workspace est 33333333333333.3.
Record name | Record type | Value |
|---|---|---|
| A |
|
| A |
|
| A |
|
Pour un workspace situé à 33333333333333.3.gcp.databricks.com dans la région us-east4, les enregistrements sont :
33333333333333.3.gcp.databricks.com→10.0.0.2dp-33333333333333.3.gcp.databricks.com→10.0.0.2us-east4.psc-auth.gcp.databricks.com→10.0.0.2
If you only need inbound Private Service Connect from the transit network for REST API access (no browser-based logins), you can omit the psc-auth.gcp.databricks.com record. Most deployments require it.
Ajouter des enregistrements pour les ressources au niveau du compte et des URL personnalisées
Ajoutez les enregistrements suivants pour router les ressources au niveau du compte et votre URL personnalisée vers un endpoint General Access enregistré.
-
accounts.gcp.databricks.com: Ajoutez un enregistrement A pouraccounts.gcp.databricks.comdans la zonegcp.databricks.comqui pointe vers l'adresse IP privée d'un endpoint d'accès général enregistré. Cet enregistrement est requis, car la zone privéegcp.databricks.comremplace la résolution DNS publique pour chaque nom du domaine. Il permet également une connexion unique privée. Voir Configurer une connexion Private Service Connect entrante avec la connexion unique. -
URL personnalisée : obligatoire si vous utilisez des URL personnalisées. Créez une zone privée Cloud DNS distincte pour votre URL personnalisée dans votre Virtual Private Cloud (VPC) de transit et ajoutez un enregistrement A qui pointe vers l’IP privée d’un Endpoint d’accès général enregistré. Votre URL personnalisée peut servir l’UI et l’API de tous vos Workspace dans n’importe quelle région, ainsi que les Ressources au niveau du compte.
Configuration | Valeur |
|---|---|
Type de zone | privé |
Nom DNS |
|
Nom de l'enregistrement | Laisser vide |
Type d’enregistrement | A |
Valeur d’enregistrement |
|
Vérifiez les enregistrements dans la console
Dans les vues de zone DNS cloud, confirmez que les enregistrements A apparaissent et se résolvent aux adresses IP de l’endpoint Private Service Connect attendues.
Configurations d’exemple
Les exemples suivants illustrent des modèles de routage courants. Vous pouvez choisir le modèle de routage adapté à vos besoins en matière de sécurité, de conformité ou de réseau.
Tous les Workspace d'une région partagent le <region>.psc-auth.gcp.databricks.com, de sorte que chaque zone privée Cloud DNS ne puisse l'acheminer vers qu'un seul Endpoint. La connexion par navigateur utilise cette URL uniquement pour renvoyer la réponse de connexion Google vers l'URL du workspace. Son endpoint n'a donc pas besoin de correspondre à l'endpoint de l'URL du workspace, et vous n'avez pas besoin de l'autoriser dans les politiques au niveau du workspace. Acheminez-la vers n'importe quel endpoint accessible par vos utilisateurs.
Exemple 1 : endpoint unifié pour les ressources de production, de non-production et de niveau compte (approche à endpoint unique)
Dans cet exemple, tous les Workspace et les Ressources au niveau du compte sont accessibles via un seul Endpoint d’accès général.
Configurer les politiques de routage et d'accès entrant basées sur le contexte suivantes :
Enregistrement DNS cloud | Routé vers l'endpoint | Configuration d'accès entrant basée sur le contexte |
|---|---|---|
URL personnalisée (zone | Endpoint 1 enregistré | Dans la politique au niveau du compte, ajoutez une règle d’autorisation pour que l’endpoint 1 accède aux ressources au niveau du compte. |
Enregistrements de Workspace (URL de Workspace, URL de plan de données et | Endpoint 1 enregistré | Créez une politique au niveau du Workspace qui autorise l’entrée depuis l’Endpoint 1, et attachez-la à tous les Workspace. |
Avec cette configuration, les utilisateurs peuvent accéder à plus de Private Service Connect entrant :
- Ressources au niveau du compte, telles que la console de compte et Genie One au niveau du compte, à l’aide de votre URL personnalisée.
- Tous les Workspace utilisant votre URL personnalisée.
- Tous les Workspace utilisant des URL spécifiques au Workspace.
Exemple 2 : Endpoint distincts pour les ressources de production, de non-production et au niveau du compte (approche multi-Endpoint)
Dans cet exemple, les Workspace de production, les Workspace de non-production et les Ressources au niveau du compte sont accessibles via des Endpoint isolés distincts.
Configurer les politiques de routage et d'accès entrant basées sur le contexte suivantes :
Enregistrement DNS cloud | Routé vers l'endpoint | Configuration d'accès entrant basée sur le contexte |
|---|---|---|
URL personnalisée (zone | Endpoint 1 enregistré | Dans la politique au niveau du compte, ajoutez une règle d’autorisation pour que l’endpoint 1 accède aux ressources au niveau du compte. |
Enregistrements de l’URL du Workspace et de l’URL du plan de données pour les Workspace de production | Endpoint enregistré 2 | Créez une politique au niveau du Workspace qui autorise l’entrée depuis l’Endpoint 2, et attachez-la à vos Workspace de production. |
Enregistrements des URL de Workspace et de plan de données pour les Workspace hors production | Endpoint enregistré 3 | Créer une politique au niveau du Workspace qui autorise l'accès entrant à partir de l'Endpoint 3 et l'associer à vos Workspace de non-production. |
| Endpoint enregistré 2 ou 3 | Aucun. Voir la note au start de cette section. |
Avec cette configuration, les utilisateurs peuvent accéder à plus de Private Service Connect entrant :
- Ressources au niveau du compte, telles que la console de compte et Genie One au niveau du compte, à l’aide de votre URL personnalisée.
- Workspace de production utilisant des URL spécifiques au Workspace de production.
- Workspace hors production utilisant des URL spécifiques aux Workspace hors production.
Exemple 3 : Endpoint distincts pour les Workspace dans différentes régions et ressources au niveau du compte (approche multi-endpoint)
Dans cet exemple, les Workspace de la région A, les Workspace de la région B et les Ressources de niveau compte sont accessibles par des Endpoint isolés distincts.
Configurer les politiques de routage et d'accès entrant basées sur le contexte suivantes :
Enregistrement DNS cloud | Routé vers l'endpoint | Configuration d'accès entrant basée sur le contexte |
|---|---|---|
URL personnalisée (zone | Endpoint 1 enregistré | Dans la politique au niveau du compte, ajoutez une règle d’autorisation pour que l’endpoint 1 accède aux ressources au niveau du compte. |
Enregistrements de workspace pour les workspaces de la région A, y compris | Endpoint enregistré 2 | Créez une politique de niveau Workspace qui autorise l'entrée à partir de l'Endpoint 2, et attachez-la à vos Workspace de la région A. |
Enregistrements de Workspace pour les Workspace dans la région B, y compris | Endpoint enregistré 3 | Créez une politique au niveau du Workspace qui autorise l’entrée depuis l’Endpoint 3 et attachez-la à vos Workspace dans la région B. |
Avec cette configuration, les utilisateurs peuvent accéder à plus de Private Service Connect entrant :
- Ressources au niveau du compte, telles que la console de compte et Genie One au niveau du compte, à l’aide de votre URL personnalisée.
- Workspace dans la région A utilisant des URL spécifiques au Workspace.
- Workspace dans la région B utilisant des URL spécifiques au Workspace.
Exemple 4 : Endpoint partagé pour la production et les ressources au niveau du compte, endpoint distinct pour la non-production (approche multi-endpoint)
Dans cet exemple, les Workspace de production et les Ressources au niveau du compte partagent un Endpoint isolé, tandis que les Workspace hors production utilisent un Endpoint distinct.
Configurer les politiques de routage et d'accès entrant basées sur le contexte suivantes :
Enregistrement DNS cloud | Routé vers l'endpoint | Configuration d'accès entrant basée sur le contexte |
|---|---|---|
URL personnalisée (zone | Endpoint 1 enregistré | Dans la politique au niveau du compte, ajoutez une règle d’autorisation pour que l’endpoint 1 accède aux ressources au niveau du compte. |
Enregistrements de l’URL du Workspace et de l’URL du plan de données pour les Workspace de production | Endpoint 1 enregistré | Créez également une politique au niveau du Workspace qui autorise les entrées depuis l'Endpoint 1 et attachez-la à vos Workspace de production. |
Enregistrements des URL de Workspace et de plan de données pour les Workspace hors production | Endpoint enregistré 2 | Créez une politique au niveau du Workspace qui autorise l’entrée depuis l’Endpoint 2 et attachez-la à vos Workspace hors production. |
| Endpoint 1 ou 2 enregistré | Aucun. Voir la note au start de cette section. |
Avec cette configuration, les utilisateurs peuvent accéder à plus de Private Service Connect entrant :
- Ressources au niveau du compte, telles que la console de compte et Genie One au niveau du compte, à l’aide de votre URL personnalisée.
- Workspace de production utilisant votre URL personnalisée.
- Workspace de production utilisant des URL spécifiques au Workspace de production.
- Workspace hors production utilisant des URL spécifiques aux Workspace hors production.
Le trafic de production et le trafic au niveau du compte restent isolés du trafic des Workspace de non-production grâce à l'utilisation d'Endpoint distincts.
Dans toutes les configurations ci-dessus, ajoutez également l’enregistrement accounts.gcp.databricks.com requis à la zone gcp.databricks.com (voir Ajouter des enregistrements pour les ressources au niveau du compte et les URL personnalisées). Vous pouvez le résoudre en n’importe quel endpoint d’accès général enregistré. Si vous souhaitez accéder aux ressources au niveau du compte de manière privée via accounts.gcp.databricks.com sans utiliser votre URL personnalisée, configurez la politique d’entrée suivante basée sur le routage et le contexte :
Enregistrement DNS cloud | Routé vers l'endpoint | Configuration d'accès entrant basée sur le contexte |
|---|---|---|
| Endpoint 1 enregistré | Dans la politique au niveau du compte, ajoutez une règle d’autorisation pour que l’endpoint 1 accède aux ressources au niveau du compte. |
Gardez les directives suivantes à l’esprit :
- Votre URL personnalisée, les URL spécifiques aux Workspace et l'URL du compte peuvent toutes être routées vers le même Endpoint, ou vers des Endpoint distincts en fonction de vos exigences d'isolement.
- Votre URL personnalisée peut être utilisée pour accéder aux Workspace et aux Ressources au niveau du compte.
- Utilisez l'entrée basée sur le contexte pour contrôler les Workspace et les Ressources de niveau compte auxquels chaque Endpoint enregistré peut accéder. Consultez Contrôle d'entrée basé sur le contexte.
Vérification
Après avoir créé les enregistrements DNS, vérifiez que les URL de l'espace de travail (Workspace) se résolvent vers l'adresse IP de l'Endpoint Private Service Connect à partir d'un client dans le Virtual Private Cloud (VPC) de transit.
- Use nslookup
- Use dig
- Test workspace access
Depuis une machine virtuelle dans le transit Virtual Private Cloud (VPC), exécutez nslookup sur chaque URL :
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2
$ nslookup accounts.gcp.databricks.com
Address: 10.0.0.2
$ nslookup <my-custom-account-name>.databricks.com
Address: 10.0.0.2
Chaque commande doit retourner l'adresse IP privée de l'endpoint Private Service Connect vers lequel vous avez routé cette URL.
Pour des informations de résolution plus détaillées :
$ dig +short 33333333333333.3.gcp.databricks.com
10.0.0.2
- Depuis une machine virtuelle dans le Virtual Private Cloud (VPC) de transit (ou une station de travail d'entreprise routée via VPN ou Cloud Interconnect), ouvrez un navigateur Internet.
- Accédez à l’URL de votre Workspace.
- Vérifiez que vous pouvez vous connecter et accéder au workspace.
Si vous ne pouvez pas accéder au workspace :
- Vérifiez que les trois enregistrements A existent et que l'URL du workspace et l'URL du plan de données correspondent à la même IP d'endpoint Private Service Connect.
- Vérifiez que le VPC de transit dispose d’une connectivité vers le sous-réseau du Private Service Connect Endpoint.
- Vérifiez que le workspace dispose d'un objet de paramètres d'accès privé attaché. Voir Gérer les paramètres d'accès privé.
- Vérifiez que toutes les règles de pare-feu entre le client et le Private Service Connect Endpoint autorisent le protocole TCP sur le port 443.
Problèmes courants
La résolution DNS renvoie des adresses IP publiques : la zone privée Cloud DNS n'est pas associée au Virtual Private Cloud (VPC) de transit, ou les query ne l'atteignent pas. Vérifiez les liaisons réseau de la zone.
La console du compte ou l’URL personnalisée ne se charge pas à partir du Virtual Private Cloud (VPC) de transit : L’enregistrement accounts.gcp.databricks.com ou la zone d’URL personnalisée est manquant, ou l’endpoint n’est pas autorisé dans la politique d’entrée basée sur le contexte au niveau du compte. Voir Ajouter des enregistrements pour les ressources au niveau du compte et les URL personnalisées et Gérer les politiques d’entrée basées sur le contexte au niveau du compte.
Les redirections de connexion par navigateur échouent ou restent bloquées : l'enregistrement <region>.psc-auth.gcp.databricks.com est manquant ou pointe vers un endpoint que le navigateur ne peut pas atteindre. Ajoutez ou mettez à jour l'enregistrement.
L'échec du Startup du cluster après l'activation de Private Service Connect pour le plan de compute classique : l'URL du workspace et l'URL du plan de données doivent pointer vers le même Endpoint Private Service Connect depuis le VPC du plan de compute classique. S'ils pointent vers des Endpoint différents, les nœuds du cluster ne peuvent pas atteindre le plan de contrôle de manière cohérente. Consultez Bonne pratique : résolution DNS cohérente.
Bonne pratique : résolution DNS cohérente pour Private Service Connect du plan de compute classique
Si vous configurez à la fois Inbound et classic compute plane Private Service Connect, l’URL du workspace et l’URL du plan de données (dp-<workspace-id>.<n>.gcp.databricks.com) doivent pointer vers le même Private Service Connect Endpoint depuis chaque VPC qui les utilise.
Lorsqu'un nœud de compute démarre, Databricks utilise les deux URL pour atteindre le plan de contrôle. S'ils se résolvent vers des Endpoint différents, cette incohérence peut entrer en conflit avec votre politique de paramètres d'accès privé et entraîner des échecs de compute.
Pour vérifier, exécutez la commande suivante à partir d'une machine virtuelle dans le Virtual Private Cloud (VPC) du plan de compute classique. Les deux commandes doivent renvoyer la même adresse IP privée :
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com
S'ils ne correspondent pas, mettez à jour la zone Cloud DNS dans le VPC du plan de compute classique (ou le VPC de transit s'il sert également de VPC du plan de compute classique) afin que les deux enregistrements pointent vers le même endpoint Private Service Connect.
Et ensuite
-
- Configuration de Private Service Connect entrant pour les Workspace
- Si vous n'avez pas encore configuré Private Service Connect.
-
- Activez Private Service Connect pour votre workspace
- Terminez la configuration de votre connectivité privée en configurant Private Service Connect de votre plan de compute vers le plan de contrôle.
-
- Concepts de Private Service Connect
- Concepts et architecture de la connectivité privée sur Databricks : AWS PrivateLink, Azure Private Link et GCP Private Service Connect.
-
- Configurez les listes d'accès IP pour les Workspace
- Ajoutez une couche de filtrage des adresses IP publiques pour les déploiements d'accès hybrides.