Configurez un VPC géré par le client
Cette page décrit les avantages et l'implémentation d'un Virtual Private Cloud (VPC) géré par le client.
Cette fonctionnalité nécessite que votre compte soit sur le forfait Premium.
Présentation
By default, Databricks configure les ressources de compute classiques de votre Workspace, telles que les clusters Databricks Runtime, dans un cluster Google Compute Engine (GCE). Ce cluster GCE réside dans un réseau de Virtual Private Cloud (VPC) que Databricks crée et gère automatiquement dans votre compte Google Cloud.
Alternativement, vous pouvez déployer votre Workspace Databricks au sein d'un Virtual Private Cloud (VPC) existant que vous créez et gérez dans votre compte Google Cloud. C'est ce qu'on appelle un VPC géré par le client .
Utilisez un Virtual Private Cloud (VPC) géré par le client pour :
- Contrôle amélioré : obtenez un contrôle plus direct sur vos configurations réseau.
- Conformité : Répondez aux normes spécifiques de sécurité cloud ou de gouvernance exigées par votre organisation.
- **Stratégies internes :** Adhérez aux stratégies de sécurité qui empêchent les fournisseurs de créer automatiquement des VPC.
- Processus d'approbation clairs : S'aligner sur les processus internes où la création et la configuration de Virtual Private Cloud (VPC) sont gérées par des équipes internes spécifiques (par exemple : sécurité de l'information, ingénierie cloud).
- Private Service Connect : l'utilisation d'un Virtual Private Cloud (VPC) géré par le client est requise si vous devez configurer Private Service Connect pour tout type de connexion.
Avantages inclus :
- Niveaux de privilèges inférieurs : Databricks requiert moins d'autorisations dans votre compte Google Cloud par rapport à la configuration par default, ce qui pourrait simplifier les approbations internes.
- Mise en réseau consolidée : Configurez plusieurs Databricks Workspace pour partager un seul Virtual Private Cloud (VPC) du plan de compute, simplifiant souvent la facturation et la gestion des instances.
Pour utiliser un Virtual Private Cloud (VPC) géré par le client, vous devez le spécifier lors de la création du Databricks Workspace via la console du compte. Vous ne pouvez pas déplacer un Workspace existant avec un Virtual Private Cloud (VPC) géré par Databricks vers votre propre Virtual Private Cloud (VPC). De plus, après la création du workspace, vous ne pouvez pas modifier le Virtual Private Cloud (VPC) géré par le client que le workspace utilise.
Niveau de privilège inférieur pour les Virtual Private Cloud (VPC) gérés par le client
Lors de la création d'un workspace, Databricks crée un compte de service et accorde un rôle avec des autorisations dont Databricks a besoin pour gérer votre workspace.
Si votre Workspace utilise un Virtual Private Cloud (VPC) géré par le client, il ne nécessite pas autant d'autorisations. Le rôle créé par Databricks omet les autorisations telles que la création, la mise à jour et la suppression d'objets comme les réseaux, les routeurs et les sous-réseaux. Pour la liste complète, consultez Autorisations requises pour le compte de service du Workspace.
Exigences
Dans ce sujet :
Exigences de sortie
Si Private Service Connect n'est pas configuré pour un workspace, vous devez configurer le sous-réseau fourni pour autoriser le trafic Internet public sortant.
Pour activer l'égresse, vous pouvez ajouter une NAT Google Cloud ou utiliser une approche similaire. Voir Créer et configurer votre Virtual Private Cloud (VPC).
Si vous configurez des listes d'accès IP, ces adresses IP publiques doivent être ajoutées à une liste blanche. Consultez Configurer les listes d'accès IP du Workspace.
Exigences du réseau
Le tableau suivant répertorie les exigences relatives aux Ressources réseau et aux attributs utilisant la notation CIDR.
Ressource ou attribut réseau | Description | Plage valide |
|---|---|---|
Plage de sous-réseaux | La plage d'adresses IP de votre Virtual Private Cloud (VPC) à partir de laquelle allouer les machines virtuelles GCE de votre workspace. Pour les recommandations et les calculs de dimensionnement, consultez Dimensionnement des sous-réseaux pour un nouveau workspace. | La plage de |
Région de sous-réseau | Région du sous-réseau | La région du sous-réseau doit correspondre à la région de votre Workspace afin que Databricks puisse provisionner des machines virtuelles GCE. |
Partager un Virtual Private Cloud (VPC) avec plusieurs Workspace
Vous pouvez utiliser un Virtual Private Cloud (VPC) Google Cloud avec plusieurs workspaces. Pour utiliser des projets Google Cloud distincts pour chaque Workspace, distincts du projet du Virtual Private Cloud (VPC), utilisez ce que Google appelle un VPC partagé . Pour plus de détails, consultez Exigences du projet.
Exigences du projet
Le projet Google Cloud associé à votre Virtual Private Cloud (VPC) peut correspondre au projet du Workspace, mais cela n'est pas obligatoire.
Si vous utilisez un Virtual Private Cloud (VPC) standard, que Google appelle un VPC autonome , Databricks utilise le même projet Google Cloud pour les deux éléments suivants :
- Votre réseau Virtual Private Cloud (VPC)
- Ressources que Databricks crée pour chaque Workspace pour les ressources de compute et de stockage. Les ressources de compute incluent les VM GCE. Les Ressources de stockage incluent les deux buckets GCS pour les données système et la racine DBFS.
Si vous souhaitez que votre Virtual Private Cloud (VPC) dispose d'un projet Google Cloud différent des Ressources de compute et de stockage, vous devez créer ce que Google appelle un Virtual Private Cloud (VPC) partagé au lieu d'un Virtual Private Cloud (VPC) autonome. Un VPC partagé vous permet de connecter des ressources de plusieurs projets à un réseau Virtual Private Cloud (VPC) commun pour communiquer entre elles à l'aide d'adresses IP internes de ce réseau.
Remarques sur la terminologie :
- Ne confondez pas le terme Virtual Private Cloud (VPC) avec le fait que plusieurs Workspaces partagent un Virtual Private Cloud (VPC). Les VPC autonomes et les VPC partagés peuvent être utilisés avec un seul workspace Databricks ou plusieurs workspaces.
- Un Virtual Private Cloud (VPC) partagé est également appelé *réseau inter-projets* ou *XPN*. La documentation Databricks utilise le terme Virtual Private Cloud (VPC) partagé pour suivre l'utilisation la plus courante dans la documentation Google.
Vous pourriez vouloir utiliser un projet différent pour les ressources du Workspace pour diverses raisons :
- Vous souhaitez séparer les métadonnées de facturation pour chaque Workspace afin de permettre l'attribution des coûts et les calculs budgétaires pour chaque unité commerciale qui possède son propre Workspace Databricks mais un seul Virtual Private Cloud (VPC) qui héberge tous les Workspaces.
- Vous souhaitez limiter les autorisations sur chaque projet pour chaque objectif. Par exemple, le projet que vous utilisez pour les Ressources de compute et de stockage de chaque Workspace n'a pas besoin d'autorisation pour créer un Virtual Private Cloud (VPC).
- Votre organisation pourrait exiger cette approche pour les applications Google Cloud.
Ce que Google appelle le host project est le projet de votre Virtual Private Cloud (VPC). Ce que Google appelle le projet de service est le projet que Databricks utilise pour le compute et les ressources de stockage de chaque workspace.
Exigences en matière de rôle
Le principal qui effectue une opération doit disposer de rôles spécifiques requis pour chaque opération.
Le principal qui a besoin de rôles spécifiques sur le projet dépend de la manière dont vous effectuez l'opération.
- Pour utiliser la console du compte, le principal est votre compte d'utilisateur administrateur.
- Pour utiliser l'API de compte, le principal est le compte de service principal (SA-2) pour l'authentification OIDC. N'oubliez pas qu'un compte de service n'hérite pas automatiquement des rôles de son créateur. Vous devez ajouter des rôles pour le compte de service sur le projet.
Pour un compte Virtual Private Cloud (VPC) autonome, il existe un projet Google Cloud unique pour le VPC et les Ressources qui y sont déployées. Si votre Virtual Private Cloud (VPC) est ce que Google appelle un Shared VPC, cela signifie que le Virtual Private Cloud (VPC) a un projet distinct du projet utilisé pour les ressources de compute et de stockage de chaque Workspace. Pour un Virtual Private Cloud (VPC) partagé, l'entité qui effectue l'opération (l'utilisateur ou le compte de service) doit avoir des rôles spécifiques sur **les deux** : le projet du Virtual Private Cloud (VPC) et le projet du Workspace. Consultez le tableau suivant pour plus de détails. Pour plus de détails sur les Shared VPCs, consultez Exigences du projet.
Pour créer un Workspace avec un Virtual Private Cloud (VPC) géré par les clients, vous avez besoin des rôles pour créer à la fois une configuration réseau et un Workspace. Le tableau suivant présente les rôles qui doivent être attribués au créateur du Workspace sur le projet GCP où le Workspace sera provisionnement et le projet GCP où réside le VPC (si ce projet est différent du projet de Workspace) :
Opérations | Rôles requis sur le(s) projet(s) GCP où résident le Virtual Private Cloud (VPC) et/ou le workspace. |
|---|---|
Exécutez toutes les Opérations VPC gérées par le client listées ci-dessous | Soit le propriétaire ( |
Créer une configuration réseau | Visionneur ( |
Supprimer la configuration réseau | Aucun |
Créez un Workspace Databricks | Propriétaire ( |
Supprimer un workspace | Soit le propriétaire ( |
Configurer votre VPC et créer un Workspace
Créer et configurer votre Virtual Private Cloud (VPC)
-
Décidez si vous souhaitez créer ce que Google appelle un Virtual Private Cloud (VPC) autonome ou un Virtual Private Cloud (VPC) partagé. Un Virtual Private Cloud (VPC) partagé vous permet de spécifier un projet Google Cloud pour le Virtual Private Cloud (VPC) et des projets distincts pour chaque Workspace. Databricks utilise le projet Workspace pour créer les ressources de stockage et de compute du Workspace. Consultez les exigences du projet.
- Pour utiliser le même projet pour votre Virtual Private Cloud (VPC) que pour les ressources de compute et de stockage de chaque Workspace, créez un Virtual Private Cloud (VPC) autonome.
- Autrement, créez un Virtual Private Cloud (VPC) partagé.
-
Créez un Virtual Private Cloud (VPC) conformément aux exigences réseau:
-
Pour créer un Virtual Private Cloud (VPC) autonome, utilisez soit la console Google Cloud, soit la CLI Google. Pour utiliser la CLI Google afin de créer un Virtual Private Cloud (VPC) autonome avec des plages d'adresses IP suffisantes pour un workspace Databricks, exécutez les commandes suivantes. Remplacez
<region>par la région Google Cloud dans laquelle vous prévoyez de créer votre workspace Databricks. Remplacez<vpc-name>par un nouveau nom de Virtual Private Cloud (VPC). Remplacez<subnet-name>par un nouveau nom de sous-réseau. Remplacez<project-id>par l'ID du projet du Virtual Private Cloud (VPC) autonome.Bash
gcloud config set project <project-id>
gcloud compute networks create <vpc-name> --subnet-mode=custom
gcloud compute networks subnets create <subnet-name> \
--network=<vpc-name> --range=10.0.0.0/16 --region=<region> -
Pour créer un Virtual Private Cloud (VPC) partagé :
- Lisez l'article Google « Aperçu du Virtual Private Cloud (VPC) partagé ».
- Suivez les instructions de l'article Google « Provisionner un Virtual Private Cloud (VPC) partagé ». Le *projet hôte* est le projet de votre Virtual Private Cloud (VPC). Le projet de service est le projet que Databricks utilise pour les ressources de compute et de stockage de chaque workspace.
-
-
Les VM de ressources de compute de votre Workspace n'ont pas d'adresses IP publiques. Pour prendre en charge les Workspace sans Private Service Connect, un Virtual Private Cloud (VPC) doit inclure des Ressources qui permettent le trafic de sortie (sortant) de votre VPC vers l'internet public afin que votre Workspace puisse se connecter au plan de contrôle Databricks.
Une approche simple pour activer l'égresse consiste à ajouter un Google Cloud NAT. Suivez les instructions de l'article Google « Set up network address translation with Cloud NAT ». Cette approche permet la sortie vers toutes les destinations. Si vous souhaitez limiter la sortie aux seules destinations requises, vous pouvez le faire maintenant ou plus tard en suivant les instructions dans Limiter la sortie réseau de votre workspace à l'aide d'un pare-feu.
Si vous utilisez la CLI Google pour cette étape, vous pouvez le faire avec les commandes suivantes. Remplacez
<vpc-name>par le nom de votre VPC tel que spécifié dans les étapes précédentes. Remplacez<nat-name>par le nouveau nom NAT. Remplacez<region>par le nom de la région que vous comptez utiliser avec votre Workspace (ou plusieurs Workspaces dans la même région) :Bashgcloud compute routers create my-router --network=<vpc-name> --region=<region>
gcloud compute routers nats create <nat-name> \
--router=my-router \
--auto-allocate-nat-external-ips \
--nat-all-subnet-ip-ranges \
--router-region=<region> -
Ajoutez une règle de pare-feu d'entrée nommée
db-<subnet-name>-ingresspour autoriser le trafic intra-sous-réseau pour le déploiement de compute :Bashgcloud compute firewall-rules create db-<subnet-name>-ingress \
--action ALLOW \
--rules all \
--source-ranges <subnet-primary-cidr> \
--direction INGRESS \
--priority 1000 \
--network <vpc-name>
Confirmer ou ajouter des rôles sur des projets pour votre compte utilisateur administrateur
Le principal qui effectue une opération doit disposer des rôles requis spécifiques pour chaque opération. Consultez les Exigences en matière de rôles pour connaître les rôles nécessaires à la création d'un workspace et d'autres opérations connexes
The principal that needs specific roles on the project depends on how you perform the operation.
- To use the account console, the principal is your admin user account.
- To use the Account API, the principal is the main service account (SA-2) for OIDC authentication. Remember that a service account does not automatically inherit roles from you as its creator. You must add roles for the service account on the project.
Pour confirmer ou mettre à jour les rôles du principal sur un projet :
-
Accédez à la page IAM du projet dans la console Google Cloud.
-
Si nécessaire, modifiez le projet à partir du sélecteur de projet en haut de la page pour qu’il corresponde au projet de votre Virtual Private Cloud (VPC).
-
Si le principal a déjà des rôles sur ce projet, vous pouvez le trouver sur cette page et examiner ses rôles dans la colonne Rôle .
-
Pour ajouter de nouveaux rôles à un principal sur ce projet :
-
En haut de la page IAM, cliquez sur AJOUTER .
-
Dans le champ Principal , saisissez l’adresse e-mail de l’entité à mettre à jour.
-
Cliquez sur le champ **Sélectionner un rôle**. Choisissez un rôle requis qui est listé comme requis. Consultez Exigences relatives aux rôles. Pour les rôles Propriétaire, Lecteur et Éditeur, vous les trouverez dans le sélecteur, dans la catégorie **De base**.
-
Pour créer un workspace avec un Virtual Private Cloud (VPC) géré par les clients, vous avez besoin des rôles pour créer une configuration réseau et un workspace. Ajoutez des rôles pour les deux opérations maintenant.
-
Pour ajouter d'autres rôles, cliquez sur AJOUTER UN AUTRE RÔLE et répétez les étapes précédentes dans « Pour confirmer ou mettre à jour les rôles du principal sur un projet ».
-
Cliquez sur Enregistrer .
-
Si vous utilisez un Virtual Private Cloud (VPC) partagé Google Cloud, qui permet un autre projet Google Cloud pour les ressources de votre workspace, telles que les ressources de compute et le stockage, vous devez également confirmer ou ajouter des rôles pour le principal sur le projet du workspace. Répétez les étapes de cette section, mais utilisez le projet du Workspace au lieu du projet du Virtual Private Cloud (VPC).
Enregistrez votre réseau auprès de Databricks, ce qui crée un objet de configuration réseau
Enregistrez votre réseau (Virtual Private Cloud (VPC)) en tant que nouvel objet de configuration réseau Databricks.
- Accédez à la console du compte.
- Dans la barre latérale, cliquez sur Sécurité .
- Cliquez sur Ajouter une configuration réseau .
- Dans une fenêtre de navigateur web séparée, ouvrez la console Google Cloud.
- Accédez à votre Virtual Private Cloud (VPC).
- Cliquez sur le nom de votre sous-réseau. La console Google Cloud affiche une page avec les détails du sous-réseau et d'autres informations dont vous avez besoin pour le formulaire.
- Copiez les informations dans le formulaire Ajouter une configuration réseau .
- Saisissez un nom lisible par l'homme pour la configuration réseau dans le premier champ.
- Saisissez les valeurs correctes pour le nom de votre Virtual Private Cloud (VPC), le nom du sous-réseau et la région du sous-réseau.
- Cliquez sur **Ajouter**.
Créer un workspace Databricks qui référence votre configuration réseau
To create a workspace, you must have some required Google permissions on your account, which can be a Google Account or a service account. See Required permissions for workspace creation.
Pour créer un Workspace à l'aide de la console de compte, suivez les instructions de Créer un Workspace classique et définissez ces champs :
-
Pour l'ID de projet Google Cloud :
- Si votre Virtual Private Cloud (VPC) est un Virtual Private Cloud (VPC) autonome, définissez-le sur l'ID de projet de votre Virtual Private Cloud (VPC). Pour un Virtual Private Cloud (VPC) autonome, il s'agit également du projet que votre Workspace utilise pour ses Ressources.
- Si votre Virtual Private Cloud (VPC) est un Virtual Private Cloud (VPC) partagé, définissez-le sur l’ID de projet pour les Ressources de ce Workspace.
-
Pour le Network Mode , sélectionnez réseau géré par le client .
-
Pour la configuration réseau , sélectionnez votre configuration réseau dans le sélecteur.