Aller au contenu principal
Dernière mise à jour le

Activer Private Service Connect pour votre workspace

Cette page fournit une vue d'ensemble de Private Service Connect dans Databricks et inclut les étapes de configuration pour activer la connectivité privée du compute plane classique .

Vue d'ensemble de la connectivité privée​

Private Service Connect permet une connectivité sécurisée et privée entre votre Workspace Databricks et les utilisateurs ou les ressources de compute, garantissant que le trafic ne transite jamais par l'Internet public. Cela aide les organisations à respecter les exigences de sécurité et de conformité grâce à une mise en réseau privée de bout en bout et à un risque d’exfiltration des données réduit.

Vous pouvez implémenter Private Service Connect de plan de compute entrant ou classique indépendamment, selon vos besoins de sécurité. Toutefois, pour une isolation complète du réseau, où Databricks rejette automatiquement toutes les connexions réseau publiques, tant entrantes que celles du plan de compute classique, vous devez activer Private Service Connect. Avec Private Service Connect, vous pouvez :

  • Empêcher l'accès aux données depuis des réseaux non autorisés ou l'internet public en utilisant l'application web ou l'API Databricks.
  • Réduisez considérablement le risque d'exfiltration de données en limitant l'exposition du réseau aux points de terminaison privés approuvés.

Pour déployer Private Service Connect, vous devez :

  • Utilisez un VPC géré par le client. Vous pouvez créer un nouveau Workspace avec une connectivité Private Service Connect ou mettre à jour un Workspace existant pour utiliser Private Service Connect. Consultez Mettre à jour la configuration réseau du Workspace. Vous ne pouvez pas utiliser Private Service Connect avec un Virtual Private Cloud (VPC) géré par Databricks.
  • Créez des objets de configuration Databricks spécifiques et des mises à jour des configurations existantes pour définir les paramètres d'accès privé et les Endpoint Virtual Private Cloud (VPC) autorisés. Voir Créer des Endpoint Virtual Private Cloud (VPC).

Terminologie​

Les termes Google Cloud suivants sont utilisés dans ce guide pour décrire la configuration Databricks :

Terminologie Google et Databricks

Description

Google Cloud : Private Service Connect (PSC)

Une fonctionnalité Google Cloud qui fournit une connectivité privée entre les réseaux Virtual Private Cloud (VPC) et les services Google Cloud. Permet aux consommateurs d'accéder aux services gérés en privé depuis leur réseau Virtual Private Cloud (VPC). Également utilisé par Databricks pour les connexions privées entre les VPC et les services Databricks.

Google Cloud : Projet hôte

Dans les configurations Virtual Private Cloud (VPC) partagées, il s'agit du projet où les Virtual Private Cloud (VPC) sont créés, utilisé à la fois pour le Virtual Private Cloud (VPC) du plan de compute classique (Private Service Connect du plan de compute classique) et le Virtual Private Cloud (VPC) de transit (Private Service Connect entrant).

Google Cloud : projet de service

Dans les configurations de Virtual Private Cloud (VPC) partagés, il s'agit du projet qui contient les ressources de compute du Workspace.

Google Cloud : Private Service Connect Endpoint ou Virtual Private Cloud (VPC) Endpoint

Une connexion privée depuis un réseau Virtual Private Cloud (VPC) vers des services, tels que ceux publiés par Databricks. Dans GCP, les Endpoints sont des adresses IP internes dans un réseau Virtual Private Cloud (VPC) consommateur qui peuvent être directement accessibles par les clients de ce réseau.

Databricks : Client

Un utilisateur sur un navigateur accédant à l'interface utilisateur de Databricks ou un client d'application accédant aux APIs de Databricks.

Databricks : Virtual Private Cloud (VPC) de transit

Le réseau Virtual Private Cloud (VPC) qui héberge les clients accédant à la WebApp ou aux APIs du Workspace Databricks. Selon la terminologie Google, il s'agit souvent du Virtual Private Cloud (VPC) utilisé pour les Endpoint PSC entrants.

Databricks : Endpoint Private Service Connect entrants (utilisateur vers Workspace).

L'endpoint Private Service Connect configuré sur le réseau Virtual Private Cloud (VPC) de transit qui permet aux clients de se connecter de manière privée à l'application web et aux APIs Databricks.

Databricks : Endpoints Private Service Connect de plan de compute classique (plan de compute vers plan de contrôle)

Endpoints Private Service Connect sur le réseau Virtual Private Cloud (VPC) géré par les clients, permettant une communication privée entre le plan de compute classique et le plan de contrôle Databricks.

Databricks : Virtual Private Cloud (VPC) du plan de compute classique

Le réseau Virtual Private Cloud (VPC) qui héberge les ressources compute de votre workspace Databricks, configuré dans votre organisation GCP. En termes Google, il s'agit du Virtual Private Cloud (VPC) pour le Private Service Connect du plan de compute classique.

Databricks : Workspace privé

Workspace où les machines virtuelles du plan de compute classique n’ont pas d’adresses IP publiques. Les Endpoints sur le plan de contrôle Databricks ne peuvent être consultés en privé qu’à partir de réseaux Virtual Private Cloud (VPC) ou d’adresses IP autorisés. Sur GCP, Databricks crée des clusters sans IP publiques par default.

Terminologie Google et Databricks

Description

Google Cloud : Private Service Connect (PSC)

Une fonctionnalité Google Cloud qui fournit une connectivité privée entre les réseaux Virtual Private Cloud (VPC) et les services Google Cloud. Permet aux consommateurs d'accéder aux services gérés en privé depuis leur réseau Virtual Private Cloud (VPC). Également utilisé par Databricks pour les connexions privées entre les VPC et les services Databricks.

Google Cloud : Projet hôte

Dans les configurations Virtual Private Cloud (VPC) partagées, il s'agit du projet où les Virtual Private Cloud (VPC) sont créés, utilisé à la fois pour le Virtual Private Cloud (VPC) du plan de compute classique (Private Service Connect du plan de compute classique) et le Virtual Private Cloud (VPC) de transit (Private Service Connect entrant).

Google Cloud : projet de service

Dans les configurations de Virtual Private Cloud (VPC) partagés, il s'agit du projet qui contient les ressources de compute du Workspace.

Google Cloud : Private Service Connect Endpoint ou Virtual Private Cloud (VPC) Endpoint

Une connexion privée depuis un réseau Virtual Private Cloud (VPC) vers des services, tels que ceux publiés par Databricks. Dans GCP, les Endpoints sont des adresses IP internes dans un réseau Virtual Private Cloud (VPC) consommateur qui peuvent être directement accessibles par les clients de ce réseau.

Databricks : Client

Un utilisateur sur un navigateur accédant à l'interface utilisateur de Databricks ou un client d'application accédant aux APIs de Databricks.

Databricks : Virtual Private Cloud (VPC) de transit

Le réseau Virtual Private Cloud (VPC) qui héberge les clients accédant à la WebApp ou aux APIs du Workspace Databricks. Selon la terminologie Google, il s'agit souvent du Virtual Private Cloud (VPC) utilisé pour les Endpoint PSC entrants.

Databricks : Endpoint Private Service Connect entrants (utilisateur vers Workspace).

L'endpoint Private Service Connect configuré sur le réseau Virtual Private Cloud (VPC) de transit qui permet aux clients de se connecter de manière privée à l'application web et aux APIs Databricks.

Databricks : Endpoints Private Service Connect de plan de compute classique (plan de compute vers plan de contrôle)

Endpoints Private Service Connect sur le réseau Virtual Private Cloud (VPC) géré par les clients, permettant une communication privée entre le plan de compute classique et le plan de contrôle Databricks.

Databricks : Virtual Private Cloud (VPC) du plan de compute classique

Le réseau Virtual Private Cloud (VPC) qui héberge les ressources compute de votre workspace Databricks, configuré dans votre organisation GCP. En termes Google, il s'agit du Virtual Private Cloud (VPC) pour le Private Service Connect du plan de compute classique.

Databricks : Workspace privé

Workspace où les machines virtuelles du plan de compute classique n’ont pas d’adresses IP publiques. Les Endpoints sur le plan de contrôle Databricks ne peuvent être consultés en privé qu’à partir de réseaux Virtual Private Cloud (VPC) ou d’adresses IP autorisés. Sur GCP, Databricks crée des clusters sans IP publiques par default.

Activer Private Service Connect pour le plan de compute classique de votre projet​

Private Service Connect du plan de compute classique connecte les ressources de compute classiques Databricks dans un VPC client aux services Workspace principaux. Les clusters se connectent au plan de contrôle pour les API REST Databricks et le relais de connectivité sécurisée des clusters. Le guide suivant comprend les étapes de configuration que vous pouvez effectuer à l'aide de la console de compte Databricks ou de l'API.

Exigences et limitations​

Les exigences et limitations suivantes s'appliquent :

  • Le workspace est sur le forfait Entreprise.

  • Un VPC géré par le client est requis : vous devez utiliser un VPC géré par le client. Vous pouvez créer votre Virtual Private Cloud (VPC) dans la console Google Cloud. Ensuite, dans la console de compte Databricks ou l'API, vous créez une configuration réseau qui référence votre Virtual Private Cloud (VPC) et définit des champs supplémentaires spécifiques à Private Service Connect.

  • Quotas : Vous pouvez configurer jusqu'à dix endpoints Private Service Connect par région et par projet hôte Virtual Private Cloud (VPC) pour Databricks. Plusieurs Databricks Workspaces dans le même Virtual Private Cloud (VPC) et la même région doivent partager ces Endpoint, car les Endpoint Private Service Connect sont des Ressources spécifiques à la région. Si ce quota représente une limitation pour votre configuration, contactez l'équipe chargée de votre compte.

  • Pas de connectivité interrégionale : les composants du Workspace Private Service Connect doivent se trouver dans la même région, notamment :

    • Réseau et sous-réseaux Virtual Private Cloud (VPC) de transit
    • Réseau et sous-réseaux Virtual Private Cloud (VPC) du plan de compute
    • Workspace Databricks
    • Private Service Connect Endpoint
    • Sous-réseaux d'endpoint Private Service Connect

  • Exemples de datasets . Des datasets Unity Catalog d'exemple et des datasets Databricks deviennent disponibles lorsque vous utilisez le compute serverless ou lorsqu'un NAT/proxy cloud est configuré pour le VPC afin de fournir un accès internet. Voir Exemples de dataset.

remarque

Le plan de compute Serverless ne prend pas en charge la connectivité Private Service Connect aux services gérés par Google. Pour accéder à Google Cloud Storage et BigQuery avec Private Service Connect, utilisez le plan de compute classique.

Plusieurs options pour la topologie de réseau​

Vous pouvez déployer un workspace Databricks privé avec les options de configuration réseau suivantes :

  • Héberger les utilisateurs Databricks (clients) et le plan de calcul classique Databricks sur le même réseau : Dans cette option, le Virtual Private Cloud (VPC) de transit et le Virtual Private Cloud (VPC) du plan de calcul font référence au même réseau Virtual Private Cloud (VPC) sous-jacent. Si vous choisissez cette topologie, tout accès à un Workspace Databricks depuis ce Virtual Private Cloud (VPC) doit passer par la connexion Private Service Connect entrante de ce Virtual Private Cloud (VPC). Consultez Exigences et limitations.
  • Hébergez les utilisateurs (clients) Databricks et le plan de compute classique Databricks sur des réseaux séparés : Dans cette option, l'utilisateur ou le client d'application peut accéder à différents workspaces Databricks en utilisant des chemins réseau différents. Vous pouvez éventuellement autoriser un utilisateur sur le Virtual Private Cloud (VPC) de transit à accéder à un Private Service Connect Workspace et également autoriser les utilisateurs sur l'internet public à accéder au Workspace.
  • Héberger le plan de calcul pour plusieurs Workspaces Databricks sur le même réseau : Dans cette option, le Virtual Private Cloud (VPC) du plan de calcul pour plusieurs Workspaces Databricks fait référence au même réseau Virtual Private Cloud (VPC) sous-jacent. Tous ces Workspaces doivent partager le même Endpoint Private Service Connect de plan de compute classique. Ce modèle de déploiement peut vous permettre de configurer un nombre réduit d'Endpoint Private Service Connect tout en configurant un grand nombre de Workspace.

Vous pouvez partager un Virtual Private Cloud (VPC) de transit pour plusieurs Workspace. Cependant, chaque Virtual Private Cloud (VPC) de transit ne doit contenir que des Workspaces qui utilisent Private Service Connect entrant, ou seulement des Workspaces qui n'utilisent pas Private Service Connect entrant. En raison du fonctionnement de la résolution DNS sur Google Cloud, vous ne pouvez pas utiliser les deux types de Workspaces avec un seul Virtual Private Cloud (VPC) de transit.

Architecture de référence​

Un déploiement de Workspace Databricks inclut les chemins réseau suivants que vous pouvez sécuriser :

  • Client Databricks sur votre Virtual Private Cloud (VPC) de transit vers le plan de contrôle Databricks. Cela inclut l'accès à la fois à l'application web et à l'API REST.
  • Réseau VPC du plan de compute classique de Databricks vers le service de plan de contrôle de Databricks. Cela inclut le relais de connectivité sécurisée des clusters et la connexion du Workspace pour les Endpoint des API REST.
  • Plan de compute classique Databricks vers le stockage dans un projet géré par Databricks.
  • Plan de contrôle Databricks vers le stockage dans vos projets, y compris le compartiment DBFS.

Vous pouvez utiliser une architecture sans pare-feu pour restreindre le trafic sortant, idéalement avec un métastore externe. Le trafic sortant vers un repository de bibliothèques publiques n'est pas possible par default, mais vous pouvez apporter votre propre repository de packages mis en miroir localement.

Vous pouvez également utiliser une architecture de pare-feu et autoriser le trafic sortant vers les référentiels de packages publics et le metastore géré par Databricks facultatif.

Référence des associations de service régionales​

Pour activer Private Service Connect, vous avez besoin des URI de l'association de service pour les endpoints suivants de votre région :

  • L'Endpoint du Workspace . Ceci se termine par le suffixe plproxy-psc-endpoint-all-ports. Ceci a un double rôle. Ceci est utilisé par Private Service Connect du plan de compute classique pour se connecter au plan de contrôle pour les APIs REST. Ceci est également utilisé par Private Service Connect entrant pour connecter votre Virtual Private Cloud (VPC) de transit à l'application web du workspace et aux APIs REST.
  • L'endpoint de relais de connectivité de cluster sécurisée (SCC) . Ceci se termine par le suffixe ngrok-psc-endpoint. Ceci est utilisé uniquement pour Private Service Connect du plan de compute classique. Il se connecte au plan de contrôle pour le relais de connectivité de cluster sécurisée (SCC).

Pour obtenir les URI d'attachement de service d'endpoint de workspace et d'endpoint de relais SCC pour votre région, consultez URI d'attachement et numéros de projet Private Service Connect (PSC).

Étapes de configuration​

Suivez les étapes suivantes pour configurer le plan de compute classique Private Service Connect pour votre Workspace.

Créer un sous-réseau​

Dans le réseau VPC du plan de compute classique, créez un sous-réseau spécifiquement pour les Endpoints Private Service Connect. Les instructions suivantes supposent l'utilisation de la console Google Cloud, mais vous pouvez également utiliser la gcloud CLI pour effectuer des tâches similaires.

Pour créer un sous-réseau :

  1. Dans la console Cloud de Google Cloud, accédez à la page de liste Virtual Private Cloud (VPC).

  2. Cliquez sur **Ajouter un sous-réseau**.

  3. Définissez le nom, la description et la région.

  4. Si le champ Objectif est visible (il peut ne pas l'être), veuillez choisir Aucun :

  5. Définissez une plage d’adresses IP privée pour le sous-réseau, par exemple 10.0.0.0/24.

important

Vos plages d'adresses IP ne peuvent pas se chevaucher pour aucun des éléments suivants :

  • Sous-réseau de votre VPC.
  • Sous-réseau qui héberge les Endpoints Private Service Connect.
  1. Confirmez que votre sous-réseau a été ajouté à la vue Virtual Private Cloud (VPC) dans la console Google Cloud pour votre Virtual Private Cloud (VPC) :

Créer des Endpoints Virtual Private Cloud (VPC)​

Vous devez créer un Endpoint Virtual Private Cloud (VPC) qui se connecte aux pièces jointes de service Databricks. Les URI des associations de services varient selon la région du Workspace. Les instructions suivantes supposent l'utilisation de la console Google Cloud, mais vous pouvez également utiliser l'interface CLI gcloud pour effectuer des tâches similaires. Pour obtenir des instructions sur la création d'Endpoint Virtual Private Cloud (VPC) vers les associations de services à l'aide de l'interface CLI gcloud ou de l'API, consultez cet article de Google Cloud Platform.

Sur le sous-réseau que vous avez créé, créez des Endpoint Virtual Private Cloud (VPC) vers les attachements de service suivants à partir de votre Virtual Private Cloud (VPC) de plan de compute classique :

  • L'Endpoint du Workspace. Ceci se termine par le suffixe plproxy-psc-endpoint-all-ports.
  • L'Endpoint du relais de connectivité sécurisée des clusters. Ceci se termine par le suffixe ngrok-psc-endpoint

Pour créer un Endpoint Virtual Private Cloud (VPC) dans la console Google Cloud :

  1. Accédez à Private Service Connect.

  2. Cliquez sur le CONNECTED ENDPOINTS tab .

  3. Cliquez sur + Connecter l'endpoint .

  4. Pour Cible , sélectionnez Service publié .

  5. Pour Service cible , saisissez l'URI de l'association de service.

important

Consultez le tableau dans la référence des associations de services régionales pour obtenir les deux URI d'associations de services Databricks pour la région de votre Workspace.

  1. Pour le nom de l'Endpoint, saisissez un nom à utiliser pour l'Endpoint.

  2. Sélectionnez un réseau VPC pour l'Endpoint.

  3. Sélectionnez un sous-réseau pour l'endpoint. Spécifiez le sous-réseau que vous avez créé pour les points de terminaison Private Service Connect.

  4. Sélectionnez une adresse IP pour l'Endpoint. Si vous avez besoin d'une nouvelle adresse IP :

    1. Cliquez sur le menu déroulant **Adresse IP** et sélectionnez **Créer une adresse IP**.
    2. Saisissez un nom et une description facultative.
    3. Pour une adresse IP statique, sélectionnez **Attribuer automatiquement** ou **Me laisser choisir**.
    4. Si vous avez sélectionné Laissez-moi choisir , saisissez l'adresse IP personnalisée.
    5. Cliquez sur Réserver .

  5. Sélectionnez un espace de noms dans la liste déroulante ou créez-en un nouveau. La région est renseignée en fonction du sous-réseau sélectionné.

  6. Cliquez sur Ajouter un Endpoint.

Enregistrez vos Endpoint Virtual Private Cloud (VPC)​

Enregistrez vos points de terminaison Google Cloud à l'aide de la console de compte Databricks. Vous pouvez également utiliser l’ API de configurations d’Endpoint Virtual Private Cloud (VPC).

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur l'onglet Security tab , puis sur VPC Endpoint .
  3. Cliquez sur Enregistrer le Endpoint Virtual Private Cloud (VPC) .
  4. Pour chacun de vos Endpoints Private Service Connect, remplissez les champs requis pour enregistrer un nouvel Endpoint Virtual Private Cloud (VPC) :
    • VPC Endpoint name : Un nom lisible par l'homme pour identifier le Endpoint VPC. Databricks recommande d'utiliser le même nom que votre ID d'Endpoint Private Service Connect, mais il n'est pas obligatoire qu'ils correspondent.
    • Région : La région Google Cloud où cet Endpoint Private Service Connect est défini.
    • ID de projet de réseau Virtual Private Cloud (VPC) Google Cloud : l'ID de projet Google Cloud où ce Endpoint est défini. Pour la connectivité du plan de compute classique, il s'agit de l'ID de projet pour le réseau VPC de votre Workspace. Pour la connectivité entrante, il s'agit de l'ID de projet du Virtual Private Cloud (VPC) d'où proviennent les connexions des utilisateurs, qui est parfois appelé Virtual Private Cloud (VPC) de transit.

Le tableau suivant présente les informations que vous devez utiliser pour chaque Endpoint si vous utilisez à la fois le plan de compute classique et Private Service Connect entrant.

Endpoint type

Field

Example

Classic compute plane VPC REST/workspace endpoint (plproxy-psc-endpoint-all-ports)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-dp-rest-api

Google Cloud VPC network project ID

databricks-dev-xpn-host

Google Cloud Region

us-east4

Classic compute plane VPC SCC relay endpoint (psc-demo-dp-ngrok)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-dp-ngrok

Google Cloud VPC network project ID

databricks-dev-xpn-host

Google Cloud Region

us-east4

Endpoint type

Field

Example

Classic compute plane VPC REST/workspace endpoint (plproxy-psc-endpoint-all-ports)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-dp-rest-api

Google Cloud VPC network project ID

databricks-dev-xpn-host

Google Cloud Region

us-east4

Classic compute plane VPC SCC relay endpoint (psc-demo-dp-ngrok)

VPC endpoint name (Databricks recommends matching the Google Cloud endpoint ID)

psc-demo-dp-ngrok

Google Cloud VPC network project ID

databricks-dev-xpn-host

Google Cloud Region

us-east4

Une fois terminé, vous pouvez utiliser la liste des points de terminaison Virtual Private Cloud (VPC) dans la console de compte pour examiner la liste des points de terminaison et confirmer les informations.

important

If your private endpoint is not approved, check the number of existing VPC endpoints in the project and region. If you are at or near the limit, reach out to Databricks customer support to request a quota increase.

Créer un objet de paramètres d'accès privé Databricks​

Créez un objet de paramètres d'accès privé qui définit plusieurs paramètres Private Service Connect pour votre Workspace. Cet objet sera associé à votre Workspace. Un objet de paramètres d'accès privé peut être associé à plusieurs Workspaces dans la même région. Pour créer un objet de paramètres d'accès privé, consultez Créer un objet de paramètres d'accès privé.

Créez une configuration réseau​

Créez une configuration réseau Databricks, qui encapsule des informations sur votre Virtual Private Cloud (VPC) géré par le client pour votre workspace. Cet objet sera associé à votre Workspace. Vous pouvez également utiliser l'API de configurations réseau.

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur l'onglet **Sécurité**, puis sur **Configurations classiques du réseau**.
  3. Cliquez sur Ajouter une configuration réseau .

Le tableau suivant présente les informations que vous devez utiliser pour chaque endpoint.

Field

Example value

Network configuration name

psc-demo-network

Network GCP project ID

databricks-dev-xpn-host

VPC Name

psc-demo-dp-vpc

Subnet Name

subnet-psc-demo-dp-vpc

Region of the subnet

us-east4

VPC endpoint for secure cluster connectivity relay

psc-demo-dp-ngrok

VPC endpoint for REST APIs (classic compute plane Private Service Connect connection to workspace)

psc-demo-dp-rest-api

Field

Example value

Network configuration name

psc-demo-network

Network GCP project ID

databricks-dev-xpn-host

VPC Name

psc-demo-dp-vpc

Subnet Name

subnet-psc-demo-dp-vpc

Region of the subnet

us-east4

VPC endpoint for secure cluster connectivity relay

psc-demo-dp-ngrok

VPC endpoint for REST APIs (classic compute plane Private Service Connect connection to workspace)

psc-demo-dp-rest-api

Créer un Workspace.​

Créez un Workspace à l'aide de la configuration réseau que vous avez créée à l'aide de la console du compte. Vous pouvez également utiliser l'API Workspaces.

  1. Accédez à la console du compte Databricks.

  2. Cliquez sur l'onglet **Workspaces**.

  3. Cliquez sur Créer un workspace .

  4. Définissez ces champs de workspace standards :

    • Nom de Workspace
    • Région
    • ID du projet Google Cloud (le projet pour les ressources de compute du Workspace, qui peut être différent de l'ID de projet pour votre Virtual Private Cloud (VPC)).

  5. Définissez les champs spécifiques de Private Service Connect :

    1. Cliquez sur Configurations avancées .
    2. Dans le champ Configuration du réseau , choisissez la configuration réseau que vous avez créée lors des étapes précédentes.
    3. Dans le champ Private connectivity , choisissez votre objet de paramètres d'accès privé que vous avez créé lors des étapes précédentes. Notez qu'un objet de paramètres d'accès privé peut être attaché à plusieurs espaces de travail.

  6. Cliquez sur Enregistrer .

Valider la configuration du Workspace​

Après avoir créé le workspace, retournez à la page du workspace et recherchez votre workspace nouvellement créé. Le transit du workspace de l'état PROVISIONING à l'état RUNNING prend généralement entre 30 secondes et 3 minutes. Une fois l'état changé en RUNNING, votre workspace a été configuré avec succès.

Vous pouvez valider la configuration en utilisant la console du compte Databricks :

  1. Cliquez sur Sécurité , puis sur Configurations réseau classiques . Trouvez la configuration réseau de votre Virtual Private Cloud (VPC) à l’aide de la console du compte. Examinez-le pour confirmer que tous les champs sont corrects.
  2. Veuillez cliquer sur Workspaces et trouver le workspace. Confirmer que le Workspace est en cours d’exécution :
astuce

If you want to review the set of workspaces using the API, make a GET request to the https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces endpoint.

Configurer le DNS​

Cette section montre comment créer une zone DNS privée qui inclut le réseau Virtual Private Cloud (VPC) du plan de compute classique. Vous devez créer des enregistrements DNS qui mappent l'URL du Workspace à l'adresse IP de l'Endpoint Private Service Connect plproxy-psc-endpoint-all-ports:

  1. Assurez-vous de disposer de l’URL du workspace pour votre workspace Databricks déployé. L'URL a un format similaire à https://33333333333333.3.gcp.databricks.com. Vous pouvez obtenir cette URL à partir du navigateur web lorsque vous visualisez un Workspace ou à partir de la console du compte dans sa liste de Workspaces.

  2. Localiser l'IP du Endpoint Private Service Connect pour le plproxy-psc-endpoint-all-ports Endpoint Private Service Connect. Dans cet exemple, l'adresse IP du Endpoint Private Service Connect psc-demo-dp-rest-api est 10.10.0.2.

  3. Créez les A mappages d'enregistrements suivants :

    • Votre domaine de Workspace (tel que 33333333333333.3.gcp.databricks.com) à 10.10.0.2
    • Votre domaine Workspace avec le préfixe dp-, tel que dp-33333333333333.3.gcp.databricks.com) à 10.10.0.2

  4. Dans la même zone de gcp.databricks.com, créez un enregistrement DNS privé pour mapper l'URL du relais SCC à l'Endpoint du relais SCC ngrok-psc-endpoint à l'aide de son adresse IP d'Endpoint.

    1. L'URL de relais SCC est au format : tunnel.<workspace-gcp-region>.gcp.databricks.com. Dans cet exemple, l'URL de relais SCC est tunnel.us-east4.gcp.databricks.com.
    2. Localiser l'IP du Endpoint Private Service Connect pour le ngrok-psc-endpoint Endpoint Private Service Connect. Dans cet exemple, l'adresse IP du Endpoint Private Service Connect psc-demo-dp-ngrok est 10.10.0.3.
    3. Créez un enregistrement A pour mapper tunnel.us-east4.gcp.databricks.com à 10.10.0.3.

Valider votre configuration DNS​

Dans vos réseaux Virtual Private Cloud (VPC), vérifiez vos configurations DNS :

Dans votre réseau Virtual Private Cloud (VPC) du plan compute classique, utilisez l'outil nslookup pour confirmer que les URL suivantes renvoient à l'adresse IP correcte de l'Endpoint Private Service Connect.

  • <workspace-url> correspond à l'IP du Endpoint Private Service Connect pour le Endpoint avec plproxy-psc-endpoint-all-ports dans son nom.
  • dp-<workspace-url> correspond à l'IP du Endpoint Private Service Connect pour le Endpoint avec plproxy-psc-endpoint-all-ports dans son nom.
  • tunnel.<workspace-gcp-region>.gcp.databricks.com correspond à l'IP du Endpoint Private Service Connect pour le Endpoint avec ngrok-psc-endpoint dans son nom.

Nom DNS intermédiaire pour Private Service Connect​

Le nom DNS intermédiaire pour les workspaces qui activent le plan de compute classique ou Private Service Connect entrant est <workspace-gcp-region>.psc.gcp.databricks.com. Cela vous permet de séparer le trafic des workspaces auxquels ils doivent accéder des autres services Databricks qui ne prennent pas en charge Private Service Connect, tels que la console de compte.

remarque

Ensure that both the workspace URL and the intermediate PSC URL (<workspace-gcp-region>.psc.gcp.databricks.com) resolve to the same Private Service Connect endpoint IP in your private DNS zone. Databricks worker nodes use both names to reach the control plane, and mismatched resolution causes compute failures.

Vérifier la connectivité du plan de compute classique​

Après avoir configuré le plan de compute classique Private Service Connect, confirmez que votre plan de compute peut atteindre en privé le plan de contrôle Databricks. À partir d'un Notebook exécuté sur un compute classique, appelez un endpoint d'API REST de Workspace à l'aide d'un jeton d'accès personnel. Une réponse réussie confirme que le plan de compute atteint le Workspace via Private Service Connect.

Dans une cellule de notebook, exécutez ce qui suit, en remplaçant <workspace-url> par l'URL de votre workspace et <your-pat> par un jeton d'accès personnel :

Bash
%sh curl -X GET https://<workspace-url>/api/2.0/token/list \
  -H "Authorization: Bearer <your-pat>"

La commande magique %sh exécute la requête depuis le nœud Driver dans votre plan de calcul. Si le plan de compute ne peut pas atteindre le plan de contrôle de manière privée, la requête expire ou ne parvient pas à se connecter. Si le test échoue, vérifiez vos Endpoints Private Service Connect, vos enregistrements DNS et vos règles de pare-feu.

Pour confirmer que la requête transite via Private Service Connect plutôt que par l'Internet public, vérifiez que l'URL du Workspace se résout à l'adresse IP privée de votre Endpoint Private Service Connect. Dans une cellule de notebook, exécutez ce qui suit :

Bash
%sh nslookup <workspace-url>

L'adresse résolue doit correspondre à l'IP privée de votre Endpoint Private Service Connect. S'il résout une adresse publique, votre zone DNS privée est mal configurée, et le trafic peut être acheminé via l'Internet public même si l'appel à l'API REST réussit.

Configurer l'accès au métastore (facultatif)​

Des fonctionnalités telles que les listes de contrôle d'accès SQL (ACL) nécessitent l'accès au Hive metastore hérité au niveau du Workspace. Comme le VPC du plan de calcul ne peut pas accéder à l'Internet public par default, vous devez créer une passerelle NAT Cloud ayant accès au metastore. Voir Limiter le trafic de sortie du réseau pour votre Workspace à l'aide d'un pare-feu.

Vous pouvez en outre configurer un pare-feu pour empêcher le trafic entrant et sortant de toutes les autres sources. Autrement, si vous ne souhaitez pas configurer un Cloud NAT pour leur Virtual Private Cloud (VPC), une autre option consiste à configurer une connexion privée à un metastore externe.

Configurer les listes d'accès IP (facultatif)​

Les connexions entrantes aux Workspaces Private Service Connect autorisent l'accès public par default. Vous pouvez contrôler l'accès public en créant un objet de paramètres d'accès privé.

Suivez ces étapes pour gérer l'accès public :

  1. Décidez de l'accès public :

    • **Refuser l'accès public** : Aucune connexion publique au Workspace ne sera autorisée.
    • Autoriser l'accès public : Vous pouvez restreindre davantage l'accès en utilisant des listes d'accès IP.

  2. Si vous autorisez l'accès public, veuillez configurer les listes d'accès IP :

    • Configurez des listes d'accès IP pour contrôler les adresses IP publiques qui peuvent accéder à votre Workspace Databricks.
    • Les listes d'accès IP affectent uniquement les requêtes provenant d'adresses IP publiques sur Internet. Ils ne bloquent pas le trafic privé de Private Service Connect.

  3. Pour bloquer tout accès Internet :

remarque

IP access lists do not affect requests from VPC networks connected through Private Service Connect. These connections are managed using the Private Service Connect access level configuration. See Create a Databricks private access settings object.

Configurer VPC Service Controls (facultatif)​

En plus d'utiliser Private Service Connect pour vous connecter en privé au service Databricks, vous pouvez configurer VPC Service Controls pour maintenir votre trafic privé et atténuer les risques d'exfiltration de données.

Configurez l'accès privé du plan de compute classique du Virtual Private Cloud (VPC) du plan de compute vers le stockage cloud​

Vous pouvez configurer Private Google Access ou Private Service Connect pour accéder de manière privée aux ressources de stockage cloud depuis votre Virtual Private Cloud (VPC) de plan de compute.

Ajoutez vos projets de plan de calcul à un périmètre de service VPC Service Controls​

Pour chaque workspace Databricks, vous pouvez ajouter les projets Google Cloud suivants à un périmètre de service VPC Service Controls :

  • Projet hôte Virtual Private Cloud (VPC) du plan de compute
  • Projet contenant le compartiment de stockage du Workspace
  • Projets de service contenant les ressources de compute du workspace

Avec cette configuration, vous devez accorder l'accès aux deux éléments suivants :

  • Les ressources de compute et le compartiment de stockage du Workspace du plan de contrôle Databricks
  • Compartiments de stockage gérés par Databricks du Virtual Private Cloud (VPC) du plan de compute

Règle d'entrée​

Vous devez ajouter une règle d'ingestion pour accorder l'accès à votre périmètre de service VPC Service Controls à partir du Virtual Private Cloud (VPC) du plan de contrôle Databricks.

Voici un exemple de règle d'entrée :

From:
     Identities: ANY_IDENTITY
     Source > Projects =
       <us-central1-control-plane-vpc-host-project-numbers> # Only required for workspace creation
       <regional-control-plane-vpc-host-project-numbers>
       <regional-control-plane-uc-project-number>
       <regional-control-plane-audit-log-delivery-project-number>
       <regional-serverless-project-number>
To:
     Projects =
        <list of compute plane project numbers>
        <Lise of Data (GCS, BQ, etc.) project numbers> # Needed for Serverless
     Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: serviceusage.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions
         Service name: cloudkms.googleapis.com
         Service methods: All actions

         # Needed for Lakehouse Federation
         Service name: bigquery.googleapis.com
         Service methods: All actions

Pour obtenir les numéros de projet pour vos règles d'entrée, consultez URI d'attachement Private Service Connect (PSC) et numéros de projet.

Règle de sortie​

Vous devez ajouter une règle de sortie pour accorder l'accès aux compartiments de stockage gérés par Databricks depuis le VPC du plan de compute. Voici un exemple de règle de sortie :

From:
     Identities: ANY_IDENTITY
To:
     Projects =
       <regional-control-plane-asset-project-number>
       <regional-control-plane-vpc-host-project-numbers>
     Services =
       Service name: storage.googleapis.com
       Service methods: All actions
       Service name: compute.googleapis.com
       Service methods: 'InstancesService.BulkInsert'

Pour obtenir les numéros de projet pour vos règles de sortie, consultez URI d’attachement et numéros de projet de Private Service Connect (PSC).

Accéder aux buckets de stockage du data lake sécurisés par VPC Service Controls​

Vous pouvez ajouter les projets Google Cloud contenant les compartiments de stockage data lake à un périmètre de service VPC Service Controls.

Si les buckets de stockage du data lake et les projets du Workspace Databricks se trouvent dans le même périmètre de service VPC Service Controls, vous n'avez pas besoin de règles d'entrée ou de sortie supplémentaires.

Si les compartiments de stockage du data lake se trouvent dans un Périmètre de service VPC Service Controls distinct, vous devez configurer ce qui suit :

  • Règles d'entrée sur le Périmètre de service du data lake :

    • Autoriser l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de calcul Databricks
    • Autorisez l'accès à Cloud Storage depuis le Virtual Private Cloud (VPC) du plan de contrôle Databricks à l'aide des ID de projet documentés sur la page des régions. Cet accès sera requis à mesure que Databricks introduira de nouvelles fonctionnalités de gouvernance des données, telles que Unity Catalog.

  • Règles de sortie sur le périmètre de service du plan de compute Databricks :

    • Autoriser la sortie vers Cloud Storage sur les projets data lake
Sur cette page