Aller au contenu principal
Dernière mise à jour le

Configurer Private Service Connect entrant

Cette page couvre les étapes de configuration de la connectivité privée entrante entre les utilisateurs et leurs Databricks Workspace. La connectivité privée entrante achemine le trafic utilisateur vers l’application web et les API REST de Databricks via un endpoint privé au lieu de l’Internet public.

Activer Private Service Connect entrant pour votre workspace​

Établissez des connexions sécurisées et privées depuis vos VPC Google Cloud ou vos réseaux sur site vers les services Databricks à l'aide de Private Service Connect entrant, qui achemine le trafic via un Endpoint d'interface VPC au lieu de l'internet public.

Pour une vue d'ensemble des modèles de connectivité Private Service Connect sur Google Cloud, y compris les compromis entre la connectivité entrante, le plan de compute classique et la connectivité sortante (Serverless), consultez Private Service Connect concepts.

Avec Private Service Connect entrant, vous pouvez :

  • Configurez l'accès privé : Private Service Connect entrant prend en charge les connexions à l'application web Databricks, à l'API REST et à l'API Databricks Connect.
  • Activez l'accès privé : configurez Private Service Connect entrant lors de la création d'un nouveau Workspace ou activez-le sur un Workspace existant.
  • Appliquer la connectivité privée obligatoire : pour appliquer les connexions privées à un workspace, vous devez configurer la connectivité privée des utilisateurs vers Databricks.

Pour utiliser l'API REST, consultez la référence de l'API des paramètres d'accès privé.

Exigences et limitations​

Pour activer Private Service Connect entrant, vous devez satisfaire aux exigences suivantes :

  • Votre compte Databricks doit être sur le plan Enterprise.
  • Quotas : la limite d'Endpoint s'applique par projet hôte, et non par VPC. Vous pouvez configurer jusqu'à dix points de terminaison Private Service Connect de chaque type par région et par projet hôte. Inbound Private Service Connect uses the Workspace Endpoint; classic compute plane Private Service Connect adds an SCC relay Endpoint, which has its own limit of ten. Plusieurs Databricks Workspaces dans le même Virtual Private Cloud (VPC) et la même région partagent ces Endpoints, car les Endpoints Private Service Connect sont des ressources spécifiques à une région. Si ce quota représente une limitation pour votre configuration, contactez l'équipe chargée de votre compte.
  • Pas de connectivité inter-régions : les composants Private Service Connect du Workspace doivent se trouver dans la même région, notamment :
    • Réseau Virtual Private Cloud (VPC) de transit et sous-réseaux.
    • Réseau et sous-réseaux Virtual Private Cloud (VPC) du plan de compute.
    • Databricks workspace.
    • Points de terminaison Private Service Connect.
    • Sous-réseaux d'Endpoint Private Service Connect.

Plusieurs options pour la topologie de réseau​

Lorsque vous déployez un Workspace Databricks privé, vous devez choisir l'une des options de configuration réseau suivantes :

  • Hébergez les utilisateurs (clients) Databricks et le plan de compute classique Databricks sur le même réseau : dans cette option, le VPC de transit et le VPC du plan de compute font référence au même réseau VPC sous-jacent. Si vous choisissez cette topologie, tout accès à un workspace Databricks depuis ce VPC doit passer par la connexion Private Service Connect entrante pour ce VPC. Consultez les exigences et limitations.
  • Hébergez les utilisateurs Databricks (clients) et le plan de compute classique Databricks sur des réseaux distincts : dans cette option, l'utilisateur ou le client d'application peut accéder à différents workspaces Databricks en utilisant différents chemins réseau. Autorisez éventuellement un utilisateur sur le Virtual Private Cloud (VPC) de transit à accéder à un workspace privé via une connexion Private Service Connect, et permettez également aux utilisateurs sur l'Internet public d'accéder au workspace.

Vous ne pouvez pas mélanger les Workspace qui utilisent Private Service Connect entrant avec ceux qui ne l'utilisent pas au sein du même Virtual Private Cloud (VPC) de transit. Bien que vous puissiez partager un Virtual Private Cloud (VPC) de transit entre plusieurs Workspaces, tous les Workspaces du Virtual Private Cloud (VPC) de transit doivent être du même type, soit tous utilisant Private Service Connect entrant, soit aucun ne l'utilisant. Cette exigence est due aux spécificités de la résolution DNS sur Google Cloud.

Référence des associations de service régionales​

Pour activer Private Service Connect entrant, vous avez besoin des URI d'attachement de service pour le Endpoint du Workspace pour votre région. L'URI se termine par le suffixe plproxy-psc-endpoint-all-ports. Cet Endpoint a un double rôle. Il est utilisé par Private Service Connect entrant pour connecter votre Virtual Private Cloud (VPC) de transit à l'application web du workspace et aux APIs REST, et il est également utilisé par Private Service Connect du plan de compute classique pour se connecter au plan de contrôle pour les APIs REST.

Pour trouver le point de terminaison de workspace et l'URI d'association de service pour votre région, consultez adresses IP et domaines pour les services et assets Databricks.

Étapes de configuration​

Créer un sous-réseau​

Dans le réseau Virtual Private Cloud (VPC) de transit, créez un sous-réseau spécifiquement pour l’endpoint Private Service Connect entrant. Il s’agit du réseau d’où proviennent vos clients Databricks. Créez d’abord un réseau Virtual Private Cloud (VPC) de transit si vous n’en avez pas déjà un. Les instructions suivantes supposent que vous utilisez la console Google Cloud, mais vous pouvez également utiliser le gcloud CLI pour effectuer des tâches similaires.

Pour créer un sous-réseau :

  1. Dans la console Cloud de Google Cloud, accédez à la page de liste Virtual Private Cloud (VPC).

  2. Cliquez sur **Ajouter un sous-réseau**.

  3. Définissez le nom, la description et la région.

  4. Si le champ Objectif est visible (il peut ne pas l'être), veuillez choisir Aucun :

  5. Définissez une plage d’adresses IP privées pour le sous-réseau, telle que 10.0.0.0/28. Vous devez allouer suffisamment d’adresses IP pour héberger votre Endpoint Private Service Connect.

important

Vérifiez que vos utilisateurs ont accès aux machines virtuelles ou aux ressources de compute sur ce sous-réseau.

  1. Confirmez que votre sous-réseau a été ajouté à la vue Virtual Private Cloud (VPC) dans la console Google Cloud pour votre Virtual Private Cloud (VPC) :

    Répertoriez tous les sous-réseaux.

Configurer l'accès privé entrant​

Créez un Endpoint Virtual Private Cloud (VPC) à partir du sous-réseau Virtual Private Cloud (VPC) de transit que vous avez créé vers la pièce jointe de service du Workspace (plproxy-psc-endpoint-all-ports).

Pour obtenir le nom complet de l'association de service pour votre région, consultez les adresses IP et domaines pour les services et assets Databricks.

Enregistrer vos Endpoints Virtual Private Cloud (VPC)​

Enregistrez vos Endpoints Google Cloud à l'aide de la console de compte Databricks. Vous pouvez également utiliser l’ API de configurations d’Endpoint Virtual Private Cloud (VPC).

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur l'onglet Security , puis sur Virtual Private Cloud (VPC) endpoints .
  3. Cliquez sur Enregistrer le Endpoint Virtual Private Cloud (VPC) .
  4. Pour chacun de vos Endpoints Private Service Connect, remplissez les champs requis pour enregistrer un nouvel Endpoint Virtual Private Cloud (VPC) :
    • VPC Endpoint name : Un nom lisible par l'homme pour identifier le Endpoint VPC. Databricks recommande d'utiliser le même nom que votre ID d'Endpoint Private Service Connect, mais il n'est pas obligatoire qu'ils correspondent.
    • Région : La région Google Cloud où cet Endpoint Private Service Connect est défini.
    • ID de projet de réseau Virtual Private Cloud (VPC) Google Cloud : l'ID de projet Google Cloud où ce Endpoint est défini. Il s'agit de l'ID de projet du Virtual Private Cloud (VPC) à partir duquel proviennent les connexions utilisateur, parfois appelé Virtual Private Cloud (VPC) de transit.
    • ID Google Cloud Private Service Connect (PSC) Endpoint : l'ID de l'Endpoint PSC que vous avez créé dans Google Cloud.

Le tableau suivant présente les informations dont vous avez besoin pour l'Endpoint.

Endpoint type

Field

Example

Inbound transit VPC endpoint (plproxy-psc-endpoint-all-ports)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-user-cp

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Region

us-east4

Endpoint type

Field

Example

Inbound transit VPC endpoint (plproxy-psc-endpoint-all-ports)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-user-cp

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Region

us-east4

Lorsque vous avez terminé, utilisez la liste des Endpoint Virtual Private Cloud (VPC) dans la console du compte pour examiner la liste des Endpoint et confirmer l'information.

Créer un objet de paramètres d'accès privé Databricks​

Créez un objet de paramètres d'accès privé qui définit plusieurs paramètres Private Service Connect pour votre Workspace. Cet objet est attaché à votre Workspace. Vous pouvez associer un objet de paramètres d'accès privé à plusieurs workspaces.

  1. En tant qu'administrateur de compte, accédez à la console du compte.

  2. Dans la barre latérale, cliquez sur Sécurité .

  3. Cliquez sur Private Access Settings .

  4. Cliquez sur **Ajouter un paramètre d'accès privé**.

  5. Saisissez un nom pour votre nouvel objet de paramètres d'accès privé.

  6. Sélectionnez la même région que votre workspace.

  7. Définissez l’option Accès public activé . Ceci ne peut pas être modifié après la création de l'objet de paramètres d'accès privé.

    • Si l'accès public est activé , les utilisateurs peuvent configurer les listes d'accès IP pour autoriser ou bloquer l'accès public (depuis l'internet public) aux workspaces qui utilisent cet objet de paramètres d'accès privé.
    • Si l'accès public est désactivé , aucun trafic public ne peut accéder aux Workspaces qui utilisent cet objet de paramètres d'accès privé. Les listes d'accès IP n'affectent pas l'accès public.

    Dans les deux cas, les listes d'accès IP ne peuvent pas bloquer le trafic privé de Private Service Connect, car les listes d'accès ne contrôlent l'accès que depuis l'internet public.

  8. Sélectionnez un Niveau d'accès privé qui restreint l'accès aux connexions Private Service Connect autorisées :

    • Compte : Tous les points de terminaison VPC enregistrés auprès de votre compte Databricks peuvent accéder à ce workspace. C'est la valeur default.
    • Endpoint : Seuls les Endpoint Virtual Private Cloud (VPC) que vous spécifiez peuvent accéder au Workspace. Si vous choisissez cette valeur, choisissez parmi vos endpoints Virtual Private Cloud (VPC) enregistrés.

  9. Cliquez sur **Ajouter un paramètre d'accès privé**.

Créez une configuration réseau​

Créer une configuration réseau Databricks qui contient des informations sur votre Virtual Private Cloud (VPC) géré par le client pour votre Workspace. Cet objet est attaché à votre Workspace. Vous pouvez également utiliser l'API de configurations réseau.

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur l'onglet Sécurité , puis sur Configurations réseau classiques .
  3. Cliquez sur Ajouter une configuration réseau .

Le tableau suivant présente les informations que vous devez utiliser pour la configuration réseau.

Field

Example value

Network configuration name

psc-demo-network

Network GCP project ID

databricks-dev-xpn-host

VPC Name

psc-demo-dp-vpc

Subnet Name

subnet-psc-demo-dp-vpc

Region of the subnet

us-east4

Field

Example value

Network configuration name

psc-demo-network

Network GCP project ID

databricks-dev-xpn-host

VPC Name

psc-demo-dp-vpc

Subnet Name

subnet-psc-demo-dp-vpc

Region of the subnet

us-east4

remarque

The secure cluster connectivity relay and REST API VPC endpoint fields apply to classic compute plane PSC, not to inbound connectivity. To configure classic compute plane connectivity, see Enable Private Service Connect for your workspace.

Créer un Workspace.​

Créez un Workspace qui utilise la configuration réseau que vous avez créée à l'aide de la console de compte. Vous pouvez également utiliser l'API Workspaces.

  1. Accédez à la console du compte Databricks.

  2. Cliquez sur l'onglet **Workspaces**.

  3. Cliquez sur Créer un workspace .

  4. Définissez ces champs de workspace standards :

    • Nom du Workspace.
    • Région du Workspace.
    • ID du projet Google Cloud (le projet pour les Ressources de compute du Workspace, qui peut être différent de l'ID du projet de votre Virtual Private Cloud (VPC)).

  5. Définissez les champs spécifiques de Private Service Connect :

    1. Cliquez sur Configurations avancées .
    2. Dans le champ Configuration réseau , choisissez la configuration réseau que vous avez créée aux étapes précédentes.
    3. Dans le champ Connectivité privée , choisissez l'objet de paramètres d'accès privé que vous avez créé lors des étapes précédentes. Vous pouvez joindre un objet de paramètres d'accès privé à plusieurs workspaces.

  6. Cliquez sur Enregistrer .

Valider la configuration du Workspace​

Après avoir créé le workspace, revenez à la page du workspace et recherchez le workspace nouvellement créé. Le transit du workspace de l'état PROVISIONING à l'état RUNNING prend généralement entre 30 secondes et 3 minutes. Une fois l'état changé en RUNNING, votre workspace a été configuré avec succès.

Validez la configuration à l’aide de la console de compte Databricks :

  1. Cliquez sur l'onglet Security , puis sur Classic network configurations . Recherchez la configuration réseau de votre Virtual Private Cloud (VPC) et confirmez que tous les champs sont corrects.
  2. Cliquez sur Workspaces et recherchez le workspace. Confirmez que le workspace est en cours d'exécution.
astuce

If you want to review the set of workspaces using the API, make a GET request to the https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces endpoint. See Get all workspaces.

Configurer le DNS​

Configurez une zone privée Cloud DNS dans votre Virtual Private Cloud (VPC) de transit qui résout l'URL du workspace, l'URL du plan de données et l'URL d'authentification du navigateur vers l'adresse IP privée de votre endpoint Private Service Connect entrant.

Pour des instructions détaillées, y compris la configuration de la zone Cloud DNS, les enregistrements A, la vérification avec nslookup et les bonnes pratiques pour une résolution DNS cohérente via Private Service Connect du plan de compute classique, consultez Configurer DNS pour Google Cloud Private Service Connect entrant.

important

A transit VPC can contain only workspaces that use inbound Private Service Connect or only workspaces that do not. Google Cloud DNS resolution does not support mixing both types in a single transit VPC.

Configurer les listes d'accès IP (facultatif)​

Par default, les connexions entrantes aux espaces de travail Private Service Connect autorisent l'accès public. Vous pouvez contrôler l'accès public en créant un objet de paramètres d'accès privé. En savoir plus.

Suivez ces étapes pour gérer l'accès public :

  1. Décidez de l'accès public :

    • Refuser l’accès public : Aucune connexion publique au workspace n’est autorisée.
    • Autoriser l'accès public : Vous pouvez restreindre davantage l'accès en utilisant des listes d'accès IP.

  2. Si vous autorisez l'accès public, veuillez configurer les listes d'accès IP :

    • Configurez des listes d'accès IP pour contrôler les adresses IP publiques qui peuvent accéder à votre Workspace Databricks.
    • Les listes d'accès IP affectent uniquement les requêtes provenant d'adresses IP publiques sur Internet. Ils ne bloquent pas le trafic privé de Private Service Connect.

  3. Pour bloquer tout accès Internet :

remarque

IP access lists do not affect requests from VPC networks connected via Private Service Connect. These connections are managed using the Private Service Connect access level configuration. See Create a Databricks private access settings object.

Configurer VPC Service Controls (facultatif)​

Améliorez votre connectivité privée à Databricks en implémentant les VPC Service Controls en parallèle à Private Service Connect, ce qui fournit une couche de sécurité supplémentaire pour protéger la confidentialité du trafic. Cette approche combinée atténue efficacement les risques d'exfiltration de données en isolant vos Ressources Google Cloud et en contrôlant l'accès à vos réseaux Virtual Private Cloud (VPC).

Configurez l'accès privé du plan de compute classique du Virtual Private Cloud (VPC) du plan de compute vers le stockage cloud​

Configurez Private Google Access ou Private Service Connect pour accéder en privé aux Ressources de stockage cloud depuis le Virtual Private Cloud (VPC) de votre plan de compute.

Ajoutez vos projets de plan de calcul à un périmètre de service VPC Service Controls​

Pour chaque workspace Databricks, ajoutez les projets Google Cloud suivants à un périmètre de service VPC Service Controls :

  • Projet hôte Virtual Private Cloud (VPC) du plan de compute
  • Projet contenant le compartiment de stockage du Workspace
  • Projets de service contenant les ressources de compute du workspace

Avec cette configuration, vous devez accorder l'accès aux deux éléments suivants :

  • Les ressources de compute et le compartiment de stockage du Workspace du plan de contrôle Databricks
  • Compartiments de stockage gérés par Databricks du Virtual Private Cloud (VPC) du plan de compute

Accorder l'accès ci-dessus avec les règles d'entrée et de sortie suivantes sur le périmètre de service VPC Service Controls ci-dessus.

Pour obtenir les numéros de projet de ces règles d'entrée et de sortie, consultez Adresses IP et domaines pour les services et assets Databricks.

Règle d'entrée​

Vous devez ajouter une règle d'entrée pour accorder l'accès à votre périmètre de service VPC Service Controls à partir du Virtual Private Cloud (VPC) du plan de contrôle Databricks. Voici un exemple de règle d'entrée :

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <us-central1-control-plane-vpc-host-project-numbers> # Only required for workspace creation
        <regional-control-plane-vpc-host-project-numbers>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

Pour obtenir les numéros de projet pour vos règles d'entrée, consultez URI d'attachement Private Service Connect (PSC) et numéros de projet.

Règle de sortie​

Vous devez ajouter une règle de sortie pour accorder l'accès aux compartiments de stockage gérés par Databricks depuis le VPC du plan de compute. Voici un exemple de règle de sortie :

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-numbers>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

Pour obtenir les numéros de projet pour vos règles de sortie, consultez URI d’attachement et numéros de projet de Private Service Connect (PSC).

Accéder aux buckets de stockage du data lake sécurisés par VPC Service Controls​

Ajoutez les projets Google Cloud contenant les compartiments de stockage data lake à un périmètre de service VPC Service Controls.

Vous n'avez pas besoin de règles d'entrée ou de sortie supplémentaires si les compartiments de stockage du data lake et les projets du Workspace Databricks se trouvent dans le même périmètre de service VPC Service Controls.

Si les compartiments de stockage du data lake se trouvent dans un Périmètre de service VPC Service Controls distinct, vous devez configurer ce qui suit :

  • Règles d'entrée sur le Périmètre de service du data lake :

    • Autoriser l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de calcul Databricks
    • Autorisez l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de contrôle Databricks à l'aide des ID de projet documentés sur la page des régions. Cet accès est requis car Databricks introduit de nouvelles fonctionnalités de gouvernance des données, telles que Unity Catalog.

  • Règles de sortie sur le périmètre de service du plan de compute Databricks :

    • Autoriser la sortie vers Cloud Storage sur les projets data lake

Ressources supplémentaires​

Sur cette page