Configurer Front-end Private Service Connect

Cette page décrit les étapes de configuration de la connectivité privée entrante entre les utilisateurs et leurs Workspace Databricks. Pour renforcer la sécurité de l'implémentation serverless de votre workspace, vous devez utiliser une connectivité privée entrante.

• Pour un aperçu de la connectivité privée chez Databricks, consultez Mise en réseau du plan de compute classique.
• Pour activer la connectivité privée du plan de compute classique vers Databricks, consultez Activer Private Service Connect pour votre Workspace.

Activer Private Service Connect entrant pour votre workspace

Établissez des connexions sécurisées et privées depuis vos VPC Google Cloud ou vos réseaux sur site vers les services Databricks à l'aide de Private Service Connect entrant, qui achemine le trafic via un Endpoint d'interface VPC au lieu de l'internet public.

Avec Private Service Connect entrant, vous pouvez :

• Configurez l'accès privé : Private Service Connect entrant prend en charge les connexions à l'application web Databricks, à l'API REST et à l'API Databricks Connect.
• Activez l'accès privé : configurez Private Service Connect entrant lors de la création d'un nouveau Workspace ou activez-le sur un Workspace existant.
• Appliquer la connectivité privée obligatoire : pour appliquer les connexions privées à un workspace, vous devez configurer la connectivité privée des utilisateurs vers Databricks.

Pour utiliser l'API REST, consultez la référence de l'API des paramètres d'accès privé.

Exigences et limitations

Pour activer Private Service Connect entrant, vous devez satisfaire aux exigences suivantes :

• Votre compte Databricks doit être sur le plan Enterprise.
• Quotas : Vous pouvez configurer jusqu'à dix endpoints Private Service Connect par région et par projet hôte Virtual Private Cloud (VPC) pour Databricks. Plusieurs Workspaces Databricks dans le même VPC et la même région doivent partager ces points de terminaison, car les points de terminaison Private Service Connect sont des ressources spécifiques à la région. Si ce quota constitue une limitation pour votre configuration, contactez l'équipe chargée de votre compte.
• Pas de connectivité inter-régions : les composants Private Service Connect du Workspace doivent se trouver dans la même région, notamment :
  • Réseau Virtual Private Cloud (VPC) de transit et sous-réseaux.
  • Réseau et sous-réseaux Virtual Private Cloud (VPC) du plan de compute.
  • Databricks workspace.
  • Points de terminaison Private Service Connect.
  • Sous-réseaux d'Endpoint Private Service Connect.

Plusieurs options pour la topologie de réseau

Lorsque vous déployez un Workspace Databricks privé, vous devez choisir l'une des options de configuration réseau suivantes :

• Hébergez les utilisateurs Databricks (clients) et le plan de compute Databricks sur le même réseau : dans cette option, le Virtual Private Cloud (VPC) de transit et le Virtual Private Cloud (VPC) du plan de compute se réfèrent au même réseau Virtual Private Cloud (VPC) sous-jacent. Si vous choisissez cette topologie, tout accès à un Workspace Databricks depuis ce Virtual Private Cloud (VPC) doit passer par la connexion Private Service Connect entrante pour ce Virtual Private Cloud (VPC). Consultez les Exigences et limitations.
• Héberger les utilisateurs (clients) Databricks et le plan de compute Databricks sur des réseaux séparés : Dans cette option, l'utilisateur ou le client d'application peut accéder à différents Databricks workspaces en utilisant différents chemins réseau. Vous pouvez éventuellement autoriser un utilisateur sur le Virtual Private Cloud (VPC) de transit à accéder à un Workspace privé via une connexion Private Service Connect et également autoriser les utilisateurs sur l'internet public à accéder au Workspace.

Vous ne pouvez pas mélanger les Workspace qui utilisent Private Service Connect entrant avec ceux qui ne l'utilisent pas au sein du même Virtual Private Cloud (VPC) de transit. Bien que vous puissiez partager un Virtual Private Cloud (VPC) de transit entre plusieurs Workspaces, tous les Workspaces du Virtual Private Cloud (VPC) de transit doivent être du même type, soit tous utilisant Private Service Connect entrant, soit aucun ne l'utilisant. Cette exigence est due aux spécificités de la résolution DNS sur Google Cloud.

Référence des associations de service régionales

Pour activer Private Service Connect entrant, vous avez besoin des URI d'attachement de service pour le Endpoint du Workspace pour votre région. L'URI se termine par le suffixe plproxy-psc-endpoint-all-ports. Cet Endpoint a un double rôle. Il est utilisé par Private Service Connect entrant pour connecter votre Virtual Private Cloud (VPC) de transit à l'application web du workspace et aux APIs REST, et il est également utilisé par Private Service Connect du plan de compute classique pour se connecter au plan de contrôle pour les APIs REST.

Pour trouver le point de terminaison de workspace et l'URI d'association de service pour votre région, consultez adresses IP et domaines pour les services et assets Databricks.

Étapes de configuration

Créer un sous-réseau

Dans le réseau Virtual Private Cloud (VPC) du plan compute, créez un sous-réseau spécifiquement pour les endpoints Private Service Connect. Les instructions suivantes supposent que vous utilisez la console Google Cloud, mais vous pouvez également utiliser la gcloud CLI pour effectuer des tâches similaires.

Pour créer un sous-réseau :

1. Dans la console Cloud de Google Cloud, accédez à la page de liste Virtual Private Cloud (VPC).

2. Cliquez sur **Ajouter un sous-réseau**.

3. Définissez le nom, la description et la région.

4. Si le champ Objectif est visible (il peut ne pas l'être), veuillez choisir Aucun :

5. Définissez une plage d'adresses IP privée pour le sous-réseau, par exemple 10.0.0.0/24. Vous devez allouer suffisamment d'espaces IP pour héberger vos endpoints Private Service Connect. Vos plages d'adresses IP ne peuvent pas se chevaucher pour les éléments suivants :

   • Sous-réseau de votre VPC.
   • Sous-réseau qui héberge les Endpoints Private Service Connect.

6. Confirmez que votre sous-réseau a été ajouté à la vue Virtual Private Cloud (VPC) dans la console Google Cloud pour votre Virtual Private Cloud (VPC) :

   

Configurer l'accès privé entrant

Pour configurer l'accès privé des clients Databricks pour Private Service Connect entrant :

1. Créez un réseau Virtual Private Cloud (VPC) de transit ou réutilisez-en un existant.

2. Créez ou réutilisez un sous-réseau avec une *plage d'adresses IP privées* qui a accès à l'Endpoint Private Service Connect entrant.

important

Vérifiez que vos utilisateurs ont accès aux VMs ou aux ressources de compute sur ce sous-réseau.

3. Créez un Endpoint Virtual Private Cloud (VPC) à partir du VPC de transit vers le rattachement de service du Workspace (plproxy-psc-endpoint-all-ports).

   Pour obtenir le nom complet à utiliser pour votre région, consultez Adresses IP et domaines pour les services et assets Databricks.

Enregistrer vos Endpoints Virtual Private Cloud (VPC)

Enregistrez vos Endpoints Google Cloud à l'aide de la console de compte Databricks. Vous pouvez également utiliser l’ API de configurations d’Endpoint Virtual Private Cloud (VPC).

1. Accédez à la console du compte Databricks.
2. Cliquez sur l'onglet Ressources cloud , puis sur Endpoints Virtual Private Cloud (VPC) .
3. Cliquez sur Enregistrer le Endpoint Virtual Private Cloud (VPC) .
4. Pour chacun de vos Endpoints Private Service Connect, remplissez les champs requis pour enregistrer un nouvel Endpoint Virtual Private Cloud (VPC) :
   • VPC Endpoint name : Un nom lisible par l'homme pour identifier le Endpoint VPC. Databricks recommande d'utiliser le même nom que votre ID d'Endpoint Private Service Connect, mais il n'est pas obligatoire qu'ils correspondent.
   • Région : La région Google Cloud où cet Endpoint Private Service Connect est défini.
   • ID de projet de réseau Virtual Private Cloud (VPC) Google Cloud : l'ID de projet Google Cloud où ce Endpoint est défini. Il s'agit de l'ID de projet du Virtual Private Cloud (VPC) à partir duquel proviennent les connexions utilisateur, parfois appelé Virtual Private Cloud (VPC) de transit.

Le tableau suivant présente les informations dont vous avez besoin pour l'Endpoint.

Endpoint type	Field	Example
Inbound transit VPC endpoint (plproxy-psc-endpoint-all-ports)	VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)	psc-demo-user-cp
	Google Cloud VPC network project ID	databricks-dev-entd-demo
	Google Cloud Region	us-east4

Endpoint type	Field	Example
Inbound transit VPC endpoint (plproxy-psc-endpoint-all-ports)	VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)	psc-demo-user-cp
	Google Cloud VPC network project ID	databricks-dev-entd-demo
	Google Cloud Region	us-east4

Lorsque vous avez terminé, utilisez la liste des Endpoint Virtual Private Cloud (VPC) dans la console du compte pour examiner la liste des Endpoint et confirmer l'information.

Créer un objet de paramètres d'accès privé Databricks

Créez un objet de paramètres d'accès privé qui définit plusieurs paramètres Private Service Connect pour votre Workspace. Cet objet est attaché à votre Workspace. Vous pouvez associer un objet de paramètres d'accès privé à plusieurs workspaces.

1. En tant qu'administrateur de compte, accédez à la console du compte.

2. Dans la barre latérale, cliquez sur Sécurité .

3. Cliquez sur Private Access Settings .

4. Cliquez sur **Ajouter un paramètre d'accès privé**.

5. Saisissez un nom pour votre nouvel objet de paramètres d'accès privé.

6. Sélectionnez la même région que votre workspace.

7. Définissez l’option Accès public activé . Ceci ne peut pas être modifié après la création de l'objet de paramètres d'accès privé.

   • Si l'accès public est activé , les utilisateurs peuvent configurer les listes d'accès IP pour autoriser ou bloquer l'accès public (depuis l'internet public) aux workspaces qui utilisent cet objet de paramètres d'accès privé.
   • Si l'accès public est désactivé , aucun trafic public ne peut accéder aux Workspaces qui utilisent cet objet de paramètres d'accès privé. Les listes d'accès IP n'affectent pas l'accès public.

   Dans les deux cas, les listes d'accès IP ne peuvent pas bloquer le trafic privé de Private Service Connect, car les listes d'accès ne contrôlent l'accès que depuis l'internet public.

8. Sélectionnez un Niveau d'accès privé qui restreint l'accès aux connexions Private Service Connect autorisées :

   • Compte : Tous les points de terminaison VPC enregistrés auprès de votre compte Databricks peuvent accéder à ce workspace. C'est la valeur default.
   • Endpoint : Seuls les Endpoint Virtual Private Cloud (VPC) que vous spécifiez peuvent accéder au Workspace. Si vous choisissez cette valeur, choisissez parmi vos endpoints Virtual Private Cloud (VPC) enregistrés.

9. Cliquez sur **Ajouter un paramètre d'accès privé**.

Créez une configuration réseau

Créer une configuration réseau Databricks qui contient des informations sur votre Virtual Private Cloud (VPC) géré par le client pour votre Workspace. Cet objet est attaché à votre Workspace. Vous pouvez également utiliser l'API de configurations réseau.

1. Accédez à la console du compte Databricks.
2. Cliquez sur l'onglet Ressources cloud , puis sur Configurations réseau .
3. Cliquez sur Ajouter une configuration réseau .

Le tableau suivant présente les informations que vous devez utiliser pour chaque endpoint.

Field	Example value
Network configuration name	psc-demo-network
Network GCP project ID	databricks-dev-xpn-host
VPC Name	psc-demo-dp-vpc
Subnet Name	subnet-psc-demo-dp-vpc
Region of the subnet	us-east4
VPC endpoint for secure cluster connectivity relay	psc-demo-dp-ngrok
VPC endpoint for REST APIs (classic compute plane Private Service Connect connection to workspace)	psc-demo-dp-rest-api

Field	Example value
Network configuration name	psc-demo-network
Network GCP project ID	databricks-dev-xpn-host
VPC Name	psc-demo-dp-vpc
Subnet Name	subnet-psc-demo-dp-vpc
Region of the subnet	us-east4
VPC endpoint for secure cluster connectivity relay	psc-demo-dp-ngrok
VPC endpoint for REST APIs (classic compute plane Private Service Connect connection to workspace)	psc-demo-dp-rest-api

Créer un Workspace.

Créez un Workspace qui utilise la configuration réseau que vous avez créée à l'aide de la console de compte. Vous pouvez également utiliser l'API Workspaces.

1. Accédez à la console du compte Databricks.

2. Cliquez sur l'onglet **Workspaces**.

3. Cliquez sur Créer un workspace .

   

4. Définissez ces champs de workspace standards :

   • Nom du Workspace.
   • Région du Workspace.
   • ID du projet Google Cloud (le projet pour les Ressources de compute du Workspace, qui peut être différent de l'ID du projet de votre Virtual Private Cloud (VPC)).

5. Définissez les champs spécifiques de Private Service Connect :

   1. Cliquez sur Configurations avancées .
   2. Dans le champ Configuration réseau , choisissez la configuration réseau que vous avez créée aux étapes précédentes.
   3. Dans le champ Connectivité privée , choisissez l'objet de paramètres d'accès privé que vous avez créé lors des étapes précédentes. Vous pouvez joindre un objet de paramètres d'accès privé à plusieurs workspaces.

6. Cliquez sur Enregistrer .

Valider la configuration du Workspace

Après avoir créé le workspace, revenez à la page du workspace et recherchez le workspace nouvellement créé. Le transit du workspace de l'état PROVISIONING à l'état RUNNING prend généralement entre 30 secondes et 3 minutes. Une fois l'état changé en RUNNING, votre workspace a été configuré avec succès.

Validez la configuration à l’aide de la console de compte Databricks :

1. Cliquez sur Ressources cloud , puis sur Configurations réseau . Trouvez la configuration réseau pour votre Virtual Private Cloud (VPC) et confirmez que tous les champs sont corrects.

2. Veuillez cliquer sur Workspaces et trouver le workspace. Confirmer que le Workspace est en cours d’exécution :

   

astuce

If you want to review the set of workspaces using the API, make a GET request to the https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces endpoint. See Get all workspaces.

Configurer le DNS

Créez une zone DNS privée pour la connectivité entrante. Bien que vous puissiez partager un Virtual Private Cloud (VPC) de transit entre plusieurs workspaces dans la même région, il doit contenir exclusivement des workspaces utilisant un PSC entrant ou des workspaces qui n'en utilisent pas, car la résolution DNS de Google Cloud ne prend pas en charge le mélange des deux types dans un seul VPC de transit.

1. Vérifiez que vous disposez de l'URL du workspace pour votre workspace Databricks déployé, au format https://33333333333333.3.gcp.databricks.com. Obtenez cette URL depuis le navigateur web lorsque vous visualisez un Workspace ou depuis la console de compte dans sa liste de workspaces.

2. Créez une zone DNS privée qui inclut le réseau Virtual Private Cloud (VPC) de transit. Sur la page Cloud DNS de la Google Cloud Console, cliquez sur **CRÉER UNE ZONE**.

   1. Dans le champ Nom DNS , saisissez gcp.databricks.com.
   2. Dans le champ Réseaux , choisissez votre réseau Virtual Private Cloud (VPC) de transit.
   3. Cliquez sur « CREATE ».

3. Créez des enregistrements DNS A pour mapper l'URL de votre Workspace à l'IP de l'Endpoint plproxy-psc-endpoint-all-ports Private Service Connect.

   1. Localisez l'adresse IP de l'Endpoint Private Service Connect pour l'Endpoint Private Service Connect plproxy-psc-endpoint-all-ports. Dans cet exemple, supposons que l'adresse IP de l'Endpoint Private Service Connect psc-demo-user-cp est 10.0.0.2.
   2. Créez un enregistrement A pour mapper l'URL du Workspace à l'adresse IP du Endpoint Private Service Connect. Dans ce cas, mappez votre nom de domaine Workspace unique (tel que 33333333333333333.3.gcp.databricks.com) à l'adresse IP de l'Endpoint Private Service Connect, qui, dans notre exemple précédent, était 10.0.0.2, mais votre numéro pourrait être différent.
   3. Créez un enregistrement A pour mapper dp-<workspace-url> à l'adresse IP de l'Endpoint Private Service Connect. Dans ce cas, en utilisant l'URL de Workspace d'exemple, cela mapperait dp-333333333333333.3.gcp.databricks.com à 10.0.0.2, mais ces valeurs pourraient être différentes pour vous.

4. Si les utilisateurs utilisent un navigateur web dans le Virtual Private Cloud (VPC) de l'utilisateur pour accéder au workspace, pour prendre en charge l'authentification, vous devez créer un enregistrement A pour mapper <workspace-gcp-region>.psc-auth.gcp.databricks.com à 10.0.0.2. Dans ce cas, mappez us-east4.psc-auth.gcp.databricks.com à 10.0.0.2. Pour la connectivité entrante, cette étape est généralement requise ; cependant, si vous prévoyez d'établir une connectivité entrante depuis le réseau de transit uniquement pour les REST APIs (pas l'accès utilisateur via un navigateur web), vous pouvez omettre cette étape.

La configuration DNS entrante de votre zone avec A enregistrements qui mappent votre URL de Workspace et le service d'authentification Databricks se présente généralement comme suit :

Valider votre configuration DNS

Dans votre réseau VPC de transit, utilisez l'outil nslookup pour confirmer que les URL suivantes se résolvent désormais à l'adresse IP de l'Endpoint Private Service Connect entrant.

• <workspace-url>
• dp-<workspace-url>
• <workspace-gcp-region>.psc-auth.gcp.databricks.com

Nom DNS intermédiaire pour Private Service Connect

Le nom DNS intermédiaire pour les workspaces qui activent le plan de compute classique ou Private Service Connect entrant est <workspace-gcp-region>.psc.gcp.databricks.com. Cela vous permet de séparer le trafic pour les workspaces auxquels ils doivent accéder, des autres services Databricks qui ne prennent pas en charge Private Service Connect, comme la console de compte.

Configurer les listes d'accès IP (facultatif)

Par default, les connexions entrantes aux espaces de travail Private Service Connect autorisent l'accès public. Vous pouvez contrôler l'accès public en créant un objet de paramètres d'accès privé. En savoir plus.

Suivez ces étapes pour gérer l'accès public :

1. Décidez de l'accès public :

   • Refuser l’accès public : Aucune connexion publique au workspace n’est autorisée.
   • Autoriser l'accès public : Vous pouvez restreindre davantage l'accès en utilisant des listes d'accès IP.

2. Si vous autorisez l'accès public, veuillez configurer les listes d'accès IP :

   • Configurez des listes d'accès IP pour contrôler les adresses IP publiques qui peuvent accéder à votre Workspace Databricks.
   • Les listes d'accès IP affectent uniquement les requêtes provenant d'adresses IP publiques sur Internet. Ils ne bloquent pas le trafic privé de Private Service Connect.

3. Pour bloquer tout accès Internet :

   • Activer les listes d'accès IP pour votre workspace. Consultez Configurer les listes d'accès IP pour les workspaces
   • Créez une règle de liste d'accès IP : BLOCK 0.0.0.0/0.

remarque

IP access lists do not affect requests from VPC networks connected via Private Service Connect. These connections are managed using the Private Service Connect access level configuration. See Create a Databricks private access settings object.

Configurer VPC Service Controls (facultatif)

Améliorez votre connectivité privée à Databricks en implémentant les VPC Service Controls en parallèle à Private Service Connect, ce qui fournit une couche de sécurité supplémentaire pour protéger la confidentialité du trafic. Cette approche combinée atténue efficacement les risques d'exfiltration de données en isolant vos Ressources Google Cloud et en contrôlant l'accès à vos réseaux Virtual Private Cloud (VPC).

Configurez l'accès privé du plan de compute classique du Virtual Private Cloud (VPC) du plan de compute vers le stockage cloud

Configurez Private Google Access ou Private Service Connect pour accéder en privé aux Ressources de stockage cloud depuis le Virtual Private Cloud (VPC) de votre plan de compute.

Ajoutez vos projets de plan de calcul à un périmètre de service VPC Service Controls

Pour chaque workspace Databricks, ajoutez les projets Google Cloud suivants à un périmètre de service VPC Service Controls :

• Projet hôte Virtual Private Cloud (VPC) du plan de compute
• Projet contenant le compartiment de stockage du Workspace
• Projets de service contenant les ressources de compute du workspace

Avec cette configuration, vous devez accorder l'accès aux deux éléments suivants :

• Les ressources de compute et le compartiment de stockage du Workspace du plan de contrôle Databricks
• Compartiments de stockage gérés par Databricks du Virtual Private Cloud (VPC) du plan de compute

Accorder l'accès ci-dessus avec les règles d'entrée et de sortie suivantes sur le périmètre de service VPC Service Controls ci-dessus.

Pour obtenir les numéros de projet de ces règles d'entrée et de sortie, consultez Adresses IP et domaines pour les services et assets Databricks.

Règle d'entrée

Vous devez ajouter une règle d'entrée pour accorder l'accès à votre périmètre de service VPC Service Controls à partir du Virtual Private Cloud (VPC) du plan de contrôle Databricks. Voici un exemple de règle d'entrée :

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <us-central1-control-plane-vpc-host-project-numbers> # Only required for workspace creation
        <regional-control-plane-vpc-host-project-numbers>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

Pour obtenir les numéros de projet pour vos règles d'entrée, consultez URI d'attachement Private Service Connect (PSC) et numéros de projet.

Règle de sortie

Vous devez ajouter une règle de sortie pour accorder l'accès aux compartiments de stockage gérés par Databricks depuis le VPC du plan de compute. Voici un exemple de règle de sortie :

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-numbers>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

Pour obtenir les numéros de projet pour vos règles de sortie, consultez URI d’attachement et numéros de projet de Private Service Connect (PSC).

Accéder aux buckets de stockage du data lake sécurisés par VPC Service Controls

Ajoutez les projets Google Cloud contenant les compartiments de stockage data lake à un périmètre de service VPC Service Controls.

Vous n'avez pas besoin de règles d'entrée ou de sortie supplémentaires si les compartiments de stockage du data lake et les projets du Workspace Databricks se trouvent dans le même périmètre de service VPC Service Controls.

Si les compartiments de stockage du data lake se trouvent dans un Périmètre de service VPC Service Controls distinct, vous devez configurer ce qui suit :

• Règles d'entrée sur le Périmètre de service du data lake :

  • Autoriser l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de calcul Databricks
  • Autorisez l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de contrôle Databricks à l'aide des ID de projet documentés sur la page des régions. Cet accès est requis car Databricks introduit de nouvelles fonctionnalités de gouvernance des données, telles que Unity Catalog.

• Règles de sortie sur le périmètre de service du plan de compute Databricks :

  • Autoriser la sortie vers Cloud Storage sur les projets data lake

Ressources supplémentaires

• Activer Private Service Connect pour votre Workspace
• Configurer les listes d'accès IP pour les workspaces