Concepts de Private Service Connect
Cette page fournit une vue d'ensemble de Private Service Connect pour Databricks sur Google Cloud. Private Service Connect crée une connexion privée et sécurisée entre vos ressources Databricks et vos services Google Cloud, garantissant que votre trafic réseau n'est pas exposé à l'Internet public.
Databricks prend en charge les types de connectivité Private Service Connect suivants sur Google Cloud :
- Entrant : sécurise les connexions des utilisateurs aux workspaces
- Sortant (serverless) : sécurise les connexions entre le compute serverless Databricks et les ressources de votre Virtual Private Cloud (VPC)
- Plan de compute classique : sécurise les connexions du compute classique au plan de contrôle
Contrairement à AWS PrivateLink et Azure Private Link, Databricks sur Google Cloud ne prend pas actuellement en charge Private Service Connect entrant pour les services intensifs en termes de performances (Zerobus Ingest, Lakebase Autoscaling). La connectivité entrante générale et celle du plan de compute classique sont généralement disponibles ; la connectivité sortante serverless est en Private Preview.
Vue d'ensemble de la connectivité privée
Private Service Connect permet une connectivité privée et sécurisée depuis vos réseaux Virtual Private Cloud (VPC) Google Cloud et vos réseaux on-premise vers les services Databricks, en isolant votre trafic de l'Internet public. Le réseau privé de bout en bout vous aide à répondre aux exigences de sécurité et de conformité et réduit le risque d'exfiltration de données.
Vous pouvez activer les connexions Private Service Connect entrantes et celles du plan de compute classique indépendamment ou conjointement, en fonction de vos exigences de sécurité et de conformité. L'activation des deux privatise les chemins de trafic utilisateur et de compute classique, mais cela ne bloque pas en soi l'accès public au workspace. Pour bloquer l'accès public, désactivez l'accès public dans votre objet de paramètres d'accès privé. Si vous laissez l'accès public activé, vous pouvez utiliser des listes d'accès IP pour contrôler quelles adresses IP publiques peuvent atteindre le workspace. Voir Configurer Private Service Connect entrant.
Avec Private Service Connect, vous pouvez :
- Bloquez l'accès aux données depuis les réseaux non autorisés ou l'internet public lors de l'utilisation de l'application web Databricks ou des APIs.
- Réduisez le risque d'exfiltration de données en limitant l'exposition réseau uniquement aux endpoints privés approuvés.
Terminologie
Les termes Google Cloud et Databricks suivants décrivent la configuration de Private Service Connect :
Terme | Description |
|---|---|
Google Cloud Private Service Connect | Une fonctionnalité Google Cloud qui fournit une connectivité privée entre les réseaux Virtual Private Cloud (VPC) et les services Google Cloud. Databricks utilise Private Service Connect pour les connexions privées entre vos Virtual Private Cloud (VPC) et les services Databricks. |
Héberger le projet | Dans les configurations VPC partagées, le projet Google Cloud où les VPC sont créés. Utilisé à la fois pour le Virtual Private Cloud (VPC) du plan de compute classique et pour le Virtual Private Cloud (VPC) de transit. |
Projet de service | Dans les configurations Virtual Private Cloud (VPC) partagé, le projet Google Cloud qui contient les ressources de compute du Workspace. |
Endpoint Private Service Connect (Virtual Private Cloud (VPC) endpoint) | Une connexion privée depuis un réseau Virtual Private Cloud (VPC) vers un service publié par Databricks. Les endpoints possèdent des adresses IP internes dans un réseau VPC consommateur et sont accessibles aux clients de ce réseau. |
Virtual Private Cloud (VPC) de transit | Le réseau Virtual Private Cloud (VPC) qui héberge l’endpoint Private Service Connect entrant et achemine le trafic des clients vers Databricks. Dans la terminologie Google Cloud, il s’agit généralement du Virtual Private Cloud (VPC) utilisé pour les endpoints Private Service Connect entrants. |
Virtual Private Cloud (VPC) du plan de compute classique | Le réseau Virtual Private Cloud (VPC) qui héberge les ressources de compute de votre workspace Databricks. Dans la terminologie Google Cloud, il s'agit généralement du Virtual Private Cloud (VPC) utilisé pour le Private Service Connect du plan de compute classique. |
Association de service | Une ressource Google Cloud qui publie un service pour les consommateurs. Databricks publie des associations de services régionales auxquelles vous vous connectez depuis votre Virtual Private Cloud (VPC). |
Workspace privé | Un workspace où les machines virtuelles du plan de compute classique n’ont pas d’adresses IP publiques. Sur Google Cloud, Databricks crée des clusters sans IP publiques par default. |
Choisir la bonne implémentation de Private Service Connect
Utilisez ce guide pour déterminer quelle implémentation répond à vos besoins.
Considération | Entrant uniquement | Plan de compute classique uniquement | Isolement privé complet. |
|---|---|---|---|
Objectif de sécurité principal | Seules les personnes autorisées peuvent accéder à mes ressources Databricks. | Verrouiller le plan de compute classique | Isolation maximale (tout sécuriser) |
Connectivité utilisateur | Privé ou public | Public (Internet) | Privé uniquement |
Connectivité des clusters au plan de contrôle | Public (chemin sécurisé standard) | Privé (obligatoire) | Privé (obligatoire) |
Prérequis | Plan Enterprise, VPC géré par le client | Plan Enterprise, VPC géré par le client | Plan Enterprise, VPC géré par le client |
Associations de service requises | Endpoint du workspace ( | Endpoint de workspace et endpoint de relais SCC ( | Endpoint du workspace et endpoint de relais SCC |
Coût relatif | Coût par endpoint et transfert de données | Coût par endpoint et transfert de données | Coût plus élevé (tous les points de terminaison) |
Private Service Connect sortant (serverless) est une fonctionnalité additive distincte que vous pouvez superposer à l'une des configurations ci-dessus. Voir Connectivité sortante (serverless).
Connectivité entrante
La fonctionnalité Inbound Private Service Connect sécurise la connexion des utilisateurs au workspace Databricks. Le trafic est acheminé via un Endpoint Private Service Connect dans votre VPC de transit au lieu d’utiliser des adresses IP publiques. Inbound Private Service Connect fournit un accès sécurisé à :
- Application web Databricks
- API REST
- API Databricks Connect
Voir Configurer Private Service Connect entrant.
Connectivité sortante (serverless)
Outbound Private Service Connect permet une connectivité privée depuis le compute serverless Databricks vers les ressources de votre Virtual Private Cloud (VPC). Contrairement aux fonctionnalités Inbound et classic compute plane Private Service Connect, qui sécurisent les connexions vers Databricks, Outbound Private Service Connect sécurise les connexions depuis le compute serverless vers vos ressources.
La fonctionnalité sortante Private Service Connect utilise des configurations de connectivité réseau (NCC), qui sont des structures régionales au niveau du compte permettant de gérer la création d'endpoints privés à grande échelle. Les NCC peuvent être jointes à plusieurs workspaces dans la même région.
Aperçu
Cette fonctionnalité est en aperçu privé. Pour l'essayer, veuillez contacter votre conseiller Databricks.
Databricks sur Google Cloud prend en charge Private Service Connect sortant serverless vers les ressources de votre VPC via une association de service Google Cloud gérée par le client et placée derrière un équilibreur de charge interne. Voir Configurer la connectivité privée aux ressources de votre Virtual Private Cloud (VPC).
Le plan de compute serverless sur Google Cloud ne prend pas en charge la connectivité Private Service Connect vers les services gérés par Google. Le compute serverless accède aux APIs Google telles que Google Cloud Storage et BigQuery via l’accès privé Google. Si les VPC Service Controls bloquent cet accès, utilisez plutôt le plan de compute classique.
Concepts clés pour la connectivité sortante
Concepts clés pour la connectivité sortante
- Configuration de la connectivité réseau (NCC) : une construction régionale au niveau du compte qui gère les Endpoint privés et contrôle la façon dont le compute Serverless accède aux ressources des clients.
- Règle d’endpoint privé : une règle sur une NCC qui définit un attachement de service spécifique et les noms de domaine que le compute serverless utilise pour l’atteindre.
- Association de service client : une association de service Google Cloud que vous créez dans votre Virtual Private Cloud (VPC), placée derrière un équilibreur de charge interne. Databricks crée un endpoint Private Service Connect qui se connecte à cette association de service.
- Modèle d'association de workspace : les NCC peuvent être associés à un maximum de 50 workspaces dans la même région.
- Limites et quotas (aperçu privé) :
- Jusqu’à 10 NCC par compte et par région
- Jusqu'à 10 objets endpoint privés par région
- Jusqu'à 50 workspaces par NCC
Connectivité privée du plan de compute classique
Le Private Service Connect du plan de compute classique sécurise la connexion entre les clusters Databricks et le plan de contrôle. Les clusters se connectent au plan de contrôle pour les APIs REST et le relais de connectivité de cluster sécurisé.
Adresses Private Service Connect du plan de compute classique :
- Exigences de conformité : aide à respecter les mandats stricts de conformité réglementaire et d'entreprise qui exigent que tout le trafic cloud interne reste sur un réseau privé.
- Renforcement du périmètre réseau : la mise en œuvre de Private Service Connect pour le plan de compute classique, parallèlement aux VPC Service Controls pour les APIs Google, réduit le risque d'exfiltration de données en supprimant le chemin entre les clusters et l'Internet public.
Consultez Configure classic compute plane Private Service Connect.
Vous pouvez configurer la connectivité privée du plan de compute classique indépendamment. Cela ne nécessite pas de connectivité entrante ou serverless.
Clouds privés virtuels pour la connectivité privée
La connectivité privée utilise deux réseaux Virtual Private Cloud (VPC) :
- Transit Virtual Private Cloud (VPC) : fonctionne comme un hub central pour la connectivité des utilisateurs. Contient les Endpoint Private Service Connect entrants requis pour l'accès des clients aux Workspace.
- Virtual Private Cloud (VPC) du plan de compute classique : un Virtual Private Cloud (VPC) géré par le client qui héberge votre workspace Databricks et les endpoints Private Service Connect du plan de compute classique.
Dans une topologie à réseau unique, un seul Virtual Private Cloud (VPC) peut remplir les deux fonctions. Dans ce cas, tout accès client depuis le Virtual Private Cloud (VPC) doit passer par la connexion Private Service Connect entrante. Consultez Activer Private Service Connect pour votre workspace pour plus de détails.
Vous ne pouvez pas mélanger des workspaces qui utilisent Private Service Connect entrant avec des workspaces qui ne l'utilisent pas au sein du même Virtual Private Cloud (VPC) de transit. Tous les workspaces d'un VPC de transit doivent être du même type. Il s'agit d'une contrainte de la résolution DNS de Google Cloud.
Allocation et dimensionnement des sous-réseaux
Planifiez les sous-réseaux dans chaque Virtual Private Cloud (VPC) pour prendre en charge les endpoints Private Service Connect parallèlement au déploiement du workspace.
- Virtual Private Cloud (VPC) de transit : allouez un sous-réseau dédié pour les endpoints Private Service Connect entrants.
- Virtual Private Cloud (VPC) du plan de compute classique :
- Sous-réseau du Workspace : Le Workspace Databricks nécessite son propre sous-réseau. Consultez Configurer un VPC géré par le client.
- Sous-réseau d'Endpoint Private Service Connect : un sous-réseau distinct (par exemple,
/28) pour les Endpoint Private Service Connect du plan de compute classique. Les plages IP des Endpoint ne peuvent pas chevaucher les plages de sous-réseaux du Workspace.
Points de terminaison Databricks Private Service Connect
Databricks publie deux associations de services régionales auxquelles vous vous connectez depuis votre VPC :
- Endpoint du workspace : suffixe d'association de service
plproxy-psc-endpoint-all-ports. Cet endpoint a un double rôle. Le Private Service Connect du plan de compute classique l'utilise pour atteindre le plan de contrôle pour les APIs REST. Le Private Service Connect entrant l'utilise pour connecter votre Virtual Private Cloud (VPC) de transit à l'application web du workspace et aux APIs REST. - Endpoint de relais SCC : suffixe d'association de service
ngrok-psc-endpoint. Seul le plan de compute classique Private Service Connect utilise cet endpoint, pour le relais de connectivité de cluster sécurisée (SCC).
Pour les URI d'association de service par région, consultez URI d'association Private Service Connect (PSC) et numéros de projet.
Au sein d'une même région dans un Virtual Private Cloud (VPC), Databricks recommande au maximum un endpoint par type d'endpoint. Partagez un endpoint de workspace entre tous les workspaces qui utilisent le Virtual Private Cloud (VPC), et un endpoint de relais SCC pour toute la connectivité du plan de compute classique depuis ce Virtual Private Cloud (VPC).
Pour les endpoints Private Service Connect, notez les points suivants :
- Shared endpoints : plusieurs Workspace utilisant le même VPC peuvent partager des Endpoint Private Service Connect, car il s’agit de ressources au niveau du VPC.
- Spécifique à la région : les points de terminaison Private Service Connect sont spécifiques à une région. Les Workspaces situés dans des régions différentes nécessitent des configurations d'Endpoint Private Service Connect distinctes.
- Quota : jusqu’à 10 Endpoint Private Service Connect de chaque type (l’Endpoint de Workspace et l’Endpoint de relais SCC) par région et par projet hôte, pour un total de 20 maximum. La limite s’applique par projet hôte (le projet Google Cloud où le Virtual Private Cloud (VPC) est créé), et non par Virtual Private Cloud (VPC). Contactez l’équipe chargée de votre compte si cela constitue une contrainte.
Considérations clés
Avant de configurer Private Service Connect, gardez à l'esprit les points suivants :
- Un Virtual Private Cloud (VPC) géré par le client est requis : vous ne pouvez pas utiliser Private Service Connect avec un Virtual Private Cloud (VPC) géré par Databricks.
- Aucune connectivité inter-région : tous les composants Private Service Connect doivent se trouver dans la même région que votre workspace, y compris le Virtual Private Cloud (VPC) de transit, le Virtual Private Cloud (VPC) du plan de compute classique, le workspace, les endpoints Private Service Connect et les sous-réseaux des endpoints Private Service Connect.
- Résolution DNS : Private Service Connect entrant nécessite des enregistrements DNS privés dans votre Virtual Private Cloud (VPC) de transit. Consultez Configurer le DNS pour Private Service Connect entrant de Google Cloud.
- Intégration de VPC Service Controls : vous pouvez combiner Private Service Connect avec VPC Service Controls pour restreindre davantage l’accès aux APIs Google et à Cloud Storage depuis vos projets Databricks. Pour le compute serverless, la NCC expose des numéros de projet Google Cloud stables que vous ajoutez à vos règles d’entrée VPC Service Controls. Voir URIs d’association et numéros de projet Private Service Connect (PSC).
- Implications du pare-feu : le Virtual Private Cloud (VPC) du plan de compute classique ne peut pas accéder à l'Internet public par default. Si vous utilisez un pare-feu pour contrôler la sortie, vous devez autoriser les URL dont Databricks a besoin, ou fournir un Cloud NAT ou un miroir privé pour les repositories de package et le metastore. Consultez Limiter la sortie réseau pour votre Workspace à l'aide d'un pare-feu.
- Contrôle d'entrée basé sur le contexte : lorsque l'accès public reste activé parallèlement à Private Service Connect entrant, utilisez le contrôle d'entrée basé sur le contexte pour restreindre l'accès en fonction de l'identité, du type de requête et de la source réseau. Voir Contrôle d'entrée basé sur le contexte.
- Aucune prise en charge des services intensifs en termes de performances : Databricks sur Google Cloud ne prend actuellement pas en charge Private Service Connect entrant pour les services intensifs en termes de performances tels que Zerobus Ingest ou Lakebase Autoscaling.