Aller au contenu principal
Dernière mise à jour le

Configurer Private Service Connect entrant pour les Workspace

Cette page couvre les étapes de configuration de la connectivité privée entrante entre les utilisateurs et leurs Databricks Workspace. La connectivité privée entrante achemine le trafic utilisateur vers l’application web et les API REST de Databricks via un endpoint privé au lieu de l’Internet public.

Établissez des connexions sécurisées et privées à partir de vos VPC Google Cloud ou de vos réseaux on-premise vers les services Databricks en utilisant le Private Service Connect entrant, qui achemine le trafic via un Endpoint Private Service Connect au lieu de l'Internet public.

Un Endpoint entrant provient de votre Virtual Private Cloud (VPC) de transit et sert généralement de source pour l’accès des applications web aux utilisateurs. Si vous utilisez le compute classique, il peut s'agir d'un Virtual Private Cloud (VPC) séparé du Virtual Private Cloud (VPC) du plan de compute du Workspace, et il peut être connecté à un réseau on-premise.

Avec Private Service Connect entrant vers des Workspace :

  • Configurer l'accès privé : configurez des connexions Private Service Connect entrantes vers l'application web Databricks, l'API REST et l'API Databricks Connect.
  • Appliquez la connectivité privée : configurez la connectivité privée des utilisateurs vers Databricks.
  • Contrôlez l'accès privé avec l'entrée basée sur le contexte ( bêta) : autorisez ou refusez l'accès à partir de Endpoint inscrits spécifiques, combiné à des conditions d'identité et de type de requête. Voir Configurer la politique d'accès privé.

Exigences et limitations​

  • Votre compte Databricks est sur le forfait Enterprise.

  • Vous devez disposer des autorisations Google Cloud nécessaires pour créer des sous-réseaux et des points de terminaison Private Service Connect dans votre Virtual Private Cloud (VPC) de transit.

  • Quotas : la limite de l'Endpoint dépend du projet hôte, pas du Virtual Private Cloud (VPC). Vous pouvez configurer jusqu'à dix Endpoint Private Service Connect de chaque type par région et par projet hôte. Les entrées Private Service Connect utilisent l'Endpoint d'accès général ; le plan de compute classique Private Service Connect ajoute un Endpoint de relais de connectivité de clusters sécurisé (SCC), qui a sa propre limite de dix. Plusieurs Workspace Databricks situés dans le même Virtual Private Cloud (VPC) et la même région partagent ces Endpoint car les Endpoint Private Service Connect sont des ressources spécifiques à une région. Si ce quota présente une limite pour votre configuration, contactez l'équipe chargée de votre compte.

  • Pas de connectivité inter-régions : les composants Private Service Connect du Workspace doivent se trouver dans la même région, notamment :

    • Réseau Virtual Private Cloud (VPC) de transit et sous-réseaux.
    • Réseau et sous-réseaux Virtual Private Cloud (VPC) du plan de compute.
    • Databricks workspace.
    • Points de terminaison Private Service Connect.
    • Sous-réseaux d'Endpoint Private Service Connect.

    Si vous autorisez un Endpoint d’accès général avec une politique d’accès privé entrante basée sur le contexte, l’Endpoint et son Virtual Private Cloud (VPC) de transit n’ont pas besoin d’être dans la même région que le Workspace. Un Endpoint d’accès général dans n’importe quelle région peut servir des Workspace dans n’importe quelle région. Voir Configurer une politique d'accès privé.

Plusieurs options pour la topologie de réseau​

Lorsque vous déployez un Workspace Databricks privé, vous devez choisir l'une des options de configuration réseau suivantes :

  • Hébergez les utilisateurs (clients) Databricks et le plan de compute classique Databricks sur le même réseau : dans cette option, le VPC de transit et le VPC du plan de compute font référence au même réseau VPC sous-jacent. Si vous choisissez cette topologie, tout accès à un workspace Databricks depuis ce VPC doit passer par la connexion Private Service Connect entrante pour ce VPC. Consultez les exigences et limitations.
  • Hébergez les utilisateurs Databricks (clients) et le plan de compute classique Databricks sur des réseaux distincts : dans cette option, l'utilisateur ou le client d'application peut accéder à différents workspaces Databricks en utilisant différents chemins réseau. Autorisez éventuellement un utilisateur sur le Virtual Private Cloud (VPC) de transit à accéder à un workspace privé via une connexion Private Service Connect, et permettez également aux utilisateurs sur l'Internet public d'accéder au workspace.

Vous ne pouvez pas mélanger les Workspace qui utilisent Private Service Connect entrant avec ceux qui ne l'utilisent pas au sein du même Virtual Private Cloud (VPC) de transit. Bien que vous puissiez partager un Virtual Private Cloud (VPC) de transit entre plusieurs Workspaces, tous les Workspaces du Virtual Private Cloud (VPC) de transit doivent être du même type, soit tous utilisant Private Service Connect entrant, soit aucun ne l'utilisant. Cette exigence est due aux spécificités de la résolution DNS sur Google Cloud.

Référence des associations de service régionales​

Pour activer Private Service Connect entrant, vous avez besoin de l'URI de l'association de service pour l'endpoint d'accès général de votre région. L'URI se termine par le suffixe plproxy-psc-endpoint-all-ports. Cet endpoint a un double rôle. Il est utilisé par Private Service Connect entrant pour connecter votre Virtual Private Cloud (VPC) de transit à l'application web du workspace et aux API REST. Il est également utilisé par Private Service Connect du plan de compute classique pour se connecter au plan de contrôle pour les API REST.

Pour trouver l'URI de l'association de services de votre région, utilisez la valeur Accès général dans URI des associations de services et numéros de projet Private Service Connect (PSC).

Configurer Private Service Connect entrant​

Créer un sous-réseau​

Dans le réseau Virtual Private Cloud (VPC) de transit, créez un sous-réseau spécifiquement pour l’endpoint Private Service Connect entrant. Il s’agit du réseau d’où proviennent vos clients Databricks. Créez d’abord un réseau Virtual Private Cloud (VPC) de transit si vous n’en avez pas déjà un. Les instructions suivantes supposent que vous utilisez la console Google Cloud, mais vous pouvez également utiliser le gcloud CLI pour effectuer des tâches similaires.

Pour créer un sous-réseau :

  1. Dans la console Google Cloud, accédez à la page de la liste des Virtual Private Cloud (VPC).

  2. Cliquez sur **Ajouter un sous-réseau**.

  3. Définissez le nom, la description et la région.

  4. Si le champ Objet est visible (il peut ne pas l'être), choisissez Aucun .

  5. Définissez une plage d’adresses IP privées pour le sous-réseau, telle que 10.0.0.0/28. Vous devez allouer suffisamment d’adresses IP pour héberger votre Endpoint Private Service Connect.

important

Vérifiez que vos utilisateurs ont accès aux machines virtuelles ou aux ressources de compute sur ce sous-réseau.

  1. Confirmez que votre sous-réseau a été ajouté à la vue Virtual Private Cloud (VPC) dans la console Google Cloud pour votre Virtual Private Cloud (VPC) :

    Répertoriez tous les sous-réseaux.

Créer un point de terminaison Virtual Private Cloud (VPC)​

astuce

For workspace private access with context-based ingress, you can reuse a General Access VPC endpoint that you already created for another workspace. The region of this endpoint does not have to match the region of your workspace. A General Access endpoint in any region can serve workspaces in any region.

Créez un Endpoint Virtual Private Cloud (VPC) d’accès général à partir du sous-réseau Virtual Private Cloud (VPC) de transit que vous avez créé vers la pièce jointe au service plproxy-psc-endpoint-all-ports. Lors de la nommage de l’endpoint, Databricks recommande d’inclure general-access, tel que databricks-general-access-psc.

Pour obtenir le nom complet de l'association de service pour votre région, reportez-vous à URIs des associations de service et numéros de projet de Private Service Connect (PSC).

Enregistrer des Virtual Private Cloud (VPC) endpoints​

Après avoir créé votre point de terminaison Virtual Private Cloud (VPC) dans la console Google Cloud, enregistrez-le dans Databricks. Vous pouvez aussi utiliser l’ API de configurations de Endpoint VPC.

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur **Sécurité** dans la barre latérale.
  3. Cliquez sur Endpoint privés .
  4. Cliquez sur Enregistrer un endpoint privé .
  5. Pour chacun de vos Endpoints Private Service Connect, remplissez les champs requis pour enregistrer un nouvel Endpoint Virtual Private Cloud (VPC) :
    • VPC Endpoint name : Un nom lisible par l'homme pour identifier le Endpoint VPC. Databricks recommande d'utiliser le même nom que votre ID d'Endpoint Private Service Connect, mais il n'est pas obligatoire qu'ils correspondent.
    • Région : La région Google Cloud où cet Endpoint Private Service Connect est défini.
    • ID de projet de réseau Virtual Private Cloud (VPC) Google Cloud : l'ID de projet Google Cloud où ce Endpoint est défini. Il s'agit de l'ID de projet du Virtual Private Cloud (VPC) à partir duquel proviennent les connexions utilisateur, parfois appelé Virtual Private Cloud (VPC) de transit.
    • ID Google Cloud Private Service Connect (PSC) Endpoint : l'ID de l'Endpoint PSC que vous avez créé dans Google Cloud.

Le tableau suivant présente les informations dont vous avez besoin pour l'Endpoint.

Field

Example

VPC endpoint name

psc-demo-user-cp

Region

us-east4

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Private Service Connect (PSC) endpoint ID

psc-demo-user-cp

Field

Example

VPC endpoint name

psc-demo-user-cp

Region

us-east4

Google Cloud VPC network project ID

databricks-dev-entd-demo

Google Cloud Private Service Connect (PSC) endpoint ID

psc-demo-user-cp

Une fois terminé, utilisez la liste Endpoint privés dans la console du compte pour passer en revue la liste des Endpoint et confirmer les informations.

Configurer la politique d'accès privé​

Après avoir enregistré votre Endpoint Virtual Private Cloud (VPC) d’accès général, deux méthodes permettent de configurer une politique d’accès privé pour votre Workspace : l’entrée basée sur le contexte ou les paramètres d’accès privé. L’approche fondée sur l’entrée basée sur le contexte vous permet de configurer un accès granulaire en combinant l’identité, le type de requête et les conditions de la source réseau. Les politiques d’accès privé basées sur le contexte ne sont pas liées à une région : vous pouvez autoriser un Endpoint dans n’importe quelle région à desservir un Workspace dans une région différente. Voir Contrôle d’entrée basé sur le contexte. Les paramètres d’accès privé sont des politiques tout-ou-rien liées à une région.

Pour que le trafic soit autorisé, les paramètres d’accès privé et l’entrée basée sur le contexte doivent autoriser le endpoint. Par default, l'accès entrant basé sur le contexte est défini sur Autoriser l'accès de tous les points de terminaison privés , ce qui laisse la décision d'accès aux paramètres d'accès privé de l'espace de travail. Pour utiliser les politiques d’accès privé basées sur le contexte, attachez un objet de paramètres d’accès privé qui autorise tous les Endpoint privés enregistrés (voir la dernière étape de la méthode 1). Cela reporte la décision d’accès à la politique d’entrée basée sur le contexte de votre Workspace.

remarque

To configure private access to workspaces using context-based ingress, an account admin must turn on Context-Based Ingress: Workspace Private Access Policies from the account console Previews page. See Manage account-level previews.

  1. Dans la console du compte, cliquez sur Sécurité dans la barre latérale.

  2. Cliquez sur Contrôle d'entrée et de sortie basé sur le contexte dans la barre latérale.

  3. Sous Stratégies au niveau du Workspace , cliquez sur Nouvelle stratégie Workspace .

  4. Sous Entrée > Accès réseau privé , définissez votre stratégie d'accès privé.

    1. Par default, tous les Endpoint enregistrés sont autorisés : Autoriser l'accès de tous les Endpoint privés . Si cela est acceptable, passez à l'étape suivante. Ce default n'inclut que les 200 premiers Endpoint Virtual Private Cloud (VPC) enregistrés. Si votre politique en nécessite davantage, contactez l’équipe chargée de votre compte pour demander une augmentation.
    2. Pour autoriser des Endpoint enregistrés spécifiques tout en refusant tous les autres Endpoint, décochez Autoriser l'accès depuis tous les Endpoint privés et ajoutez une règle d'autorisation.
      1. Sélectionnez les identités et les destinations de workspace auxquelles vous souhaitez autoriser l'accès. Par default, toutes les identités et toutes les destinations sont autorisées.
      2. Pour Type de source , sélectionnez Endpoint privés sélectionnés , puis sélectionnez les Endpoint VPC d'accès général que vous avez enregistrés. La région de ces Endpoint ne doit pas nécessairement correspondre à la région de votre Workspace.
      3. Cliquez sur Confirmer .
      4. Ajoutez éventuellement des Règles de refus à votre politique pour définir des exceptions à vos règles d’autorisation.

  5. Configurez votre politique d’accès public dans Entrant > Accès au réseau public . Pour désactiver tout accès IP public, décochez Autoriser l’accès depuis toutes les IP publiques . Databricks recommande de garder l'accès public activé lors du test de votre configuration DNS, puis de le désactiver une fois le DNS finalisé pour appliquer une connectivité privée exclusive.

  6. Testez votre politique d'accès entrant en mode simulation avant de la passer en mode appliqué . Les refus d'accès en mode simulation sont enregistrés dans la table système system.access.inbound_network, mais ils ne bloquent pas l'accès.

  7. Assurez-vous que votre politique d' égression est correcte.

  8. Associez votre politique réseau à vos Workspace.

  9. Enregistrez votre politique réseau. Les mises à jour des politiques d'entrée basées sur le contexte prennent généralement moins de 10 minutes.

  10. Joignez un objet de paramètres d'accès privé « autoriser tout accès » à votre Workspace. Pour les Workspace sans objet de paramètres d'accès privé joint, tout accès privé est refusé, quelle que soit la politique réseau.

    1. Dans la console du compte, cliquez sur Sécurité dans la barre latérale.
    2. Cliquez sur Paramètres d’accès privé .
    3. Cliquez sur Ajouter des paramètres d'accès privé .
    4. Saisissez un nom pour votre nouvel objet de paramètres d'accès privé.
    5. Sélectionnez la même région que votre workspace.
    6. Réglez Accès public activé sur Vrai . Utilisez votre politique d’accès entrant basée sur le contexte pour restreindre l’accès public.
    7. Réglez Niveau d'accès privé sur Compte .
    8. Cliquez sur Ajouter des paramètres d'accès privé .
    9. Dans la console du compte, cliquez sur Workspace , puis sur votre Workspace.
    10. Cliquez sur Configurations avancées .
    11. Dans le champ Connectivité privée , choisissez l'objet de paramètres d'accès privé que vous avez créé.
    12. Cliquez sur Enregistrer .
astuce

If multiple workspaces share the same ingress and egress policies, they can share the same network policy, so you can define it one time and attach it anywhere.

astuce

You can reuse the same "allow all access" private access settings object across any workspace in the same region.

Configurer le DNS​

Configurez une zone privée Cloud DNS dans votre Virtual Private Cloud (VPC) de transit qui résout l'URL du workspace, l'URL du plan de données et l'URL d'authentification du navigateur vers l'adresse IP privée de votre endpoint Private Service Connect entrant.

Pour des instructions détaillées, y compris la configuration de la zone Cloud DNS, les enregistrements A, la vérification avec nslookup et les bonnes pratiques pour une résolution DNS cohérente via Private Service Connect du plan de compute classique, consultez Configurer DNS pour Google Cloud Private Service Connect entrant.

important

A transit VPC can contain only workspaces that use inbound Private Service Connect or only workspaces that do not. Google Cloud DNS resolution does not support mixing both types in a single transit VPC.

Configurer VPC Service Controls (facultatif)​

Améliorez votre connectivité privée à Databricks en implémentant les VPC Service Controls en parallèle à Private Service Connect, ce qui fournit une couche de sécurité supplémentaire pour protéger la confidentialité du trafic. Cette approche combinée atténue efficacement les risques d'exfiltration de données en isolant vos Ressources Google Cloud et en contrôlant l'accès à vos réseaux Virtual Private Cloud (VPC).

Configurez l'accès privé du plan de compute classique du Virtual Private Cloud (VPC) du plan de compute vers le stockage cloud​

Configurez Private Google Access ou Private Service Connect pour accéder en privé aux Ressources de stockage cloud depuis le Virtual Private Cloud (VPC) de votre plan de compute.

Ajoutez vos projets de plan de calcul à un périmètre de service VPC Service Controls​

Pour chaque workspace Databricks, ajoutez les projets Google Cloud suivants à un périmètre de service VPC Service Controls :

  • Projet hôte Virtual Private Cloud (VPC) du plan de compute
  • Projet contenant le compartiment de stockage du Workspace
  • Projets de service contenant les ressources de compute du workspace

Avec cette configuration, vous devez accorder l'accès aux deux éléments suivants :

  • Les ressources de compute et le compartiment de stockage du Workspace du plan de contrôle Databricks
  • Compartiments de stockage gérés par Databricks du Virtual Private Cloud (VPC) du plan de compute

Accorder l'accès ci-dessus avec les règles d'entrée et de sortie suivantes sur le périmètre de service VPC Service Controls ci-dessus.

Pour obtenir les numéros de projet de ces règles d'entrée et de sortie, consultez Adresses IP et domaines pour les services et assets Databricks.

Règle d'entrée​

Vous devez ajouter une règle d'entrée pour accorder l'accès à votre périmètre de service VPC Service Controls à partir du Virtual Private Cloud (VPC) du plan de contrôle Databricks. Voici un exemple de règle d'entrée :

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <us-central1-control-plane-vpc-host-project-numbers> # Only required for workspace creation
        <regional-control-plane-vpc-host-project-numbers>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

Pour obtenir les numéros de projet pour vos règles d'entrée, consultez URI d'attachement Private Service Connect (PSC) et numéros de projet.

Règle de sortie​

Vous devez ajouter une règle de sortie pour accorder l'accès aux compartiments de stockage gérés par Databricks depuis le VPC du plan de compute. Voici un exemple de règle de sortie :

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-numbers>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

Pour obtenir les numéros de projet pour vos règles de sortie, consultez URI d’attachement et numéros de projet de Private Service Connect (PSC).

Accéder aux buckets de stockage du data lake sécurisés par VPC Service Controls​

Ajoutez les projets Google Cloud contenant les compartiments de stockage data lake à un périmètre de service VPC Service Controls.

Vous n'avez pas besoin de règles d'entrée ou de sortie supplémentaires si les compartiments de stockage du data lake et les projets du Workspace Databricks se trouvent dans le même périmètre de service VPC Service Controls.

Si les compartiments de stockage du data lake se trouvent dans un Périmètre de service VPC Service Controls distinct, vous devez configurer ce qui suit :

  • Règles d'entrée sur le Périmètre de service du data lake :

    • Autoriser l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de calcul Databricks
    • Autorisez l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de contrôle Databricks à l'aide des ID de projet documentés sur la page des régions. Cet accès est requis car Databricks introduit de nouvelles fonctionnalités de gouvernance des données, telles que Unity Catalog.

  • Règles de sortie sur le périmètre de service du plan de compute Databricks :

    • Autoriser la sortie vers Cloud Storage sur les projets data lake

Ressources supplémentaires​

Sur cette page