Concepts de Private Service Connect
Cette page fournit une vue d'ensemble de Private Service Connect pour Databricks sur Google Cloud. Private Service Connect crée une connexion privée et sécurisée entre vos ressources Databricks et vos services Google Cloud, garantissant que votre trafic réseau n'est pas exposé à l'Internet public.
Databricks prend en charge les types de connectivité Private Service Connect suivants sur Google Cloud :
- Entrant : sécurise les connexions des utilisateurs aux workspaces
- Sortant (serverless) : sécurise les connexions entre le compute serverless Databricks et les ressources de votre Virtual Private Cloud (VPC)
- Plan de compute classique : sécurise les connexions du compute classique au plan de contrôle
La connectivité entrante et la connectivité du plan de compute classique sont généralement disponibles. La connectivité sortante serverless vers des ressources gérées par le client via des pièces jointes de service est également disponible en mode général. Ceci n'inclut pas les services gérés par Google.
Vue d'ensemble de la connectivité privée
Private Service Connect permet une connectivité privée et sécurisée depuis vos réseaux Virtual Private Cloud (VPC) Google Cloud et vos réseaux on-premise vers les services Databricks, en isolant votre trafic de l'Internet public. Le réseau privé de bout en bout vous aide à répondre aux exigences de sécurité et de conformité et réduit le risque d'exfiltration de données.
Vous pouvez activer indépendamment ou conjointement les connexions Private Service Connect entrantes et celles du plan de compute classique, en fonction de vos exigences en matière de sécurité et de conformité. L'activation des deux privatise les chemins de trafic des utilisateurs et des ressources de compute classiques, mais cela ne bloque pas en soi l'accès public à l'espace de travail. Pour bloquer l'accès public, désactivez l'accès public dans votre objet de paramètres d'accès privé. Si vous laissez l'accès public activé, vous pouvez utiliser les listes d'accès IP pour contrôler quelles adresses IP publiques peuvent atteindre le workspace. Voir Configurer Private Service Connect entrant pour les Workspace.
Avec Private Service Connect, vous pouvez :
- Bloquez l'accès aux données depuis les réseaux non autorisés ou l'internet public lors de l'utilisation de l'application web Databricks ou des APIs.
- Réduisez le risque d'exfiltration de données en limitant l'exposition réseau uniquement aux endpoints privés approuvés.
Terminologie
Les termes Google Cloud et Databricks suivants décrivent la configuration de Private Service Connect :
Terme | Description |
|---|---|
Google Cloud Private Service Connect | Une fonctionnalité Google Cloud qui fournit une connectivité privée entre les réseaux Virtual Private Cloud (VPC) et les services Google Cloud. Databricks utilise Private Service Connect pour les connexions privées entre vos Virtual Private Cloud (VPC) et les services Databricks. |
Héberger le projet | Dans les configurations VPC partagées, le projet Google Cloud où les VPC sont créés. Utilisé à la fois pour le Virtual Private Cloud (VPC) du plan de compute classique et pour le Virtual Private Cloud (VPC) de transit. |
Projet de service | Dans les configurations Virtual Private Cloud (VPC) partagé, le projet Google Cloud qui contient les ressources de compute du Workspace. |
Endpoint Private Service Connect (Virtual Private Cloud (VPC) endpoint) | Connexion privée entre un réseau Virtual Private Cloud (VPC) et un élément de service. Pour la connectivité entrante et classique du plan de compute, un endpoint de votre Virtual Private Cloud (VPC) se connecte à un service publié par Databricks. Pour la connectivité sortante serverless, Databricks crée un endpoint qui se connecte à votre élément de service. |
Virtual Private Cloud (VPC) de transit | Le réseau Virtual Private Cloud (VPC) qui héberge l’endpoint Private Service Connect entrant et achemine le trafic des clients vers Databricks. Dans la terminologie Google Cloud, il s’agit généralement du Virtual Private Cloud (VPC) utilisé pour les endpoints Private Service Connect entrants. |
Virtual Private Cloud (VPC) du plan de compute classique | Le réseau Virtual Private Cloud (VPC) qui héberge les ressources de compute de votre workspace Databricks. Dans la terminologie Google Cloud, il s'agit généralement du Virtual Private Cloud (VPC) utilisé pour le Private Service Connect du plan de compute classique. |
Association de service | Ressource Google Cloud qui publie un service à destination des consommateurs. Databricks publie des pièces de service régionales pour la connectivité entrante et la connectivité du plan de compute classique. Pour la connectivité sortante serverless, vous publiez une pièce de service dans votre Virtual Private Cloud (VPC) et Databricks s’y connecte. |
Workspace privé | Un workspace où les machines virtuelles du plan de compute classique n’ont pas d’adresses IP publiques. Sur Google Cloud, Databricks crée des clusters sans IP publiques par default. |
Choisir la bonne implémentation de Private Service Connect
Utilisez ce guide pour déterminer quelle implémentation répond à vos besoins.
Considération | Entrant uniquement | Plan de compute classique uniquement | Isolement privé complet. |
|---|---|---|---|
Objectif de sécurité principal | Seules les personnes autorisées peuvent accéder à mes ressources Databricks. | Verrouiller le plan de compute classique | Isolation maximale (tout sécuriser) |
Connectivité utilisateur | Privé ou public | Public (Internet) | Privé uniquement |
Connectivité des clusters au plan de contrôle | Public (chemin sécurisé standard) | Privé (obligatoire) | Privé (obligatoire) |
Prérequis | Plan Enterprise, VPC géré par le client | Plan Enterprise, VPC géré par le client | Plan Enterprise, VPC géré par le client |
Associations de service requises | Endpoint d'accès général ( | Endpoint d'accès général et Endpoint de relais SCC ( | Endpoint d'accès général et endpoint de relais SCC |
Coût relatif | Coût par endpoint et transfert de données | Coût par endpoint et transfert de données | Coût plus élevé (tous les points de terminaison) |
Private Service Connect sortant (serverless) est une fonctionnalité additive distincte que vous pouvez superposer à l'une des configurations ci-dessus. Voir Connectivité sortante (serverless).
Connectivité entrante
La fonctionnalité Inbound Private Service Connect sécurise la connexion des utilisateurs au workspace Databricks. Le trafic est acheminé via un Endpoint Private Service Connect dans votre VPC de transit au lieu d’utiliser des adresses IP publiques. Inbound Private Service Connect fournit un accès sécurisé à :
- Application web Databricks
- API REST
- API Databricks Connect
- Services Databricks à forte intensité de performance
Voir Configurer Private Service Connect entrant.
Connectivité privée entrante aux services intensifs en termes de performances
Connectivité privée entrante pour les services à forte intensité de performance
Private Service Connect pour les services intensifs en termes de performances fournit une connectivité privée aux services suivants :
- Zerobus Ingest
- Autoscaling Lakebase
Voir Configurer Private Service Connect entrant pour les services intensifs en performances.
Connectivité sortante (serverless)
Outbound Private Service Connect permet une connectivité privée depuis le compute serverless Databricks vers les ressources de votre Virtual Private Cloud (VPC). Contrairement aux fonctionnalités Inbound et classic compute plane Private Service Connect, qui sécurisent les connexions vers Databricks, Outbound Private Service Connect sécurise les connexions depuis le compute serverless vers vos ressources.
Private Service Connect sortant utilise des configurations de connectivité réseau (NCC), qui sont des structures régionales au niveau du compte permettant de gérer la création d’Endpoint privés à grande échelle. Les NCC peuvent être jointes à plusieurs workspaces dans la même région.
Databricks sur Google Cloud prend en charge Private Service Connect sortant serverless vers les ressources de votre VPC via une association de service Google Cloud gérée par le client et placée derrière un équilibreur de charge interne. Voir Configurer la connectivité privée aux ressources de votre Virtual Private Cloud (VPC).
Cette fonctionnalité généralement disponible n'inclut pas les services gérés par Google. La connectivité privée aux APIs Google est en version bêta. Voir Configure private connectivity to Google APIs.
Concepts clés pour la connectivité sortante
Concepts clés pour la connectivité sortante
- Configuration de la connectivité réseau (NCC) : structure régionale au niveau du compte qui gère les endpoints privés et contrôle la façon dont le compute serverless accède aux ressources des clients.
- Règle d’endpoint privé : une règle sur une NCC qui définit un attachement de service spécifique et les noms de domaine que le compute serverless utilise pour l’atteindre.
- Association de service client : une association de service Google Cloud que vous créez dans votre Virtual Private Cloud (VPC), placée derrière un équilibreur de charge interne. Databricks crée un endpoint Private Service Connect qui se connecte à cette association de service.
- Modèle d'association de workspace : les NCC peuvent être associés à un maximum de 50 workspaces dans la même région.
- Limites et quotas :
- Jusqu’à 20 NCC par compte et par région
- Jusqu'à 10 objets endpoint privés par région
- Jusqu'à 50 workspaces par NCC
- Jusqu'à 100 noms de domaine par règle d'endpoint privé
Connectivité privée du plan de compute classique
Le Private Service Connect du plan de compute classique sécurise la connexion entre les clusters Databricks et le plan de contrôle. Les clusters se connectent au plan de contrôle pour les APIs REST et le relais de connectivité de cluster sécurisé.
Adresses Private Service Connect du plan de compute classique :
- Exigences de conformité : aide à respecter les mandats stricts de conformité réglementaire et d'entreprise qui exigent que tout le trafic cloud interne reste sur un réseau privé.
- Renforcement du périmètre réseau : la mise en œuvre de Private Service Connect pour le plan de compute classique, parallèlement aux VPC Service Controls pour les APIs Google, réduit le risque d'exfiltration de données en supprimant le chemin entre les clusters et l'Internet public.
Consultez Configure classic compute plane Private Service Connect.
Vous pouvez configurer la connectivité privée du plan de compute classique indépendamment. Cela ne nécessite pas de connectivité entrante ou serverless.
Clouds privés virtuels pour la connectivité privée
La connectivité privée utilise deux réseaux Virtual Private Cloud (VPC) :
- Transit Virtual Private Cloud (VPC) : fonctionne comme un hub central pour la connectivité des utilisateurs. Contient les Endpoint Private Service Connect entrants requis pour l'accès des clients aux Workspace.
- Virtual Private Cloud (VPC) du plan de compute classique : un Virtual Private Cloud (VPC) géré par le client qui héberge votre workspace Databricks et les endpoints Private Service Connect du plan de compute classique.
Dans une topologie à réseau unique, un seul Virtual Private Cloud (VPC) peut remplir les deux fonctions. Dans ce cas, tout accès client depuis le Virtual Private Cloud (VPC) doit passer par la connexion Private Service Connect entrante. Consultez Activer Private Service Connect pour votre workspace pour plus de détails.
Vous ne pouvez pas mélanger des workspaces qui utilisent Private Service Connect entrant avec des workspaces qui ne l'utilisent pas au sein du même Virtual Private Cloud (VPC) de transit. Tous les workspaces d'un VPC de transit doivent être du même type. Il s'agit d'une contrainte de la résolution DNS de Google Cloud.
Allocation et dimensionnement des sous-réseaux
Planifiez les sous-réseaux dans chaque Virtual Private Cloud (VPC) pour prendre en charge les endpoints Private Service Connect parallèlement au déploiement du workspace.
- Virtual Private Cloud (VPC) de transit : allouez un sous-réseau dédié pour les endpoints Private Service Connect entrants.
- Virtual Private Cloud (VPC) du plan de compute classique :
- Sous-réseau du Workspace : Le Workspace Databricks nécessite son propre sous-réseau. Consultez Configurer un VPC géré par le client.
- Sous-réseau d'Endpoint Private Service Connect : un sous-réseau distinct (par exemple,
/28) pour les Endpoint Private Service Connect du plan de compute classique. Les plages IP des Endpoint ne peuvent pas chevaucher les plages de sous-réseaux du Workspace.
Points de terminaison Databricks Private Service Connect
Databricks publie trois éléments de service régionaux auxquels vous vous connectez depuis votre réseau Virtual Private Cloud (VPC) :
- Endpoint d’accès général : suffixe de la pièce jointe du service
plproxy-psc-endpoint-all-ports. Il s’agit de l’Endpoint principal pour sécuriser le trafic entrant et sortant de vos Workspace ; il joue un double rôle. Le Private Service Connect du plan de compute classique l’utilise pour atteindre le plan de contrôle pour les APIs REST. L’Inbound Private Service Connect l’utilise pour connecter votre Virtual Private Cloud (VPC) de transit à l’application web et aux APIs REST du Workspace. - Endpoint de relais SCC : suffixe d'association de service
ngrok-psc-endpoint. Seul le plan de compute classique Private Service Connect utilise cet endpoint, pour le relais de connectivité de cluster sécurisée (SCC). - Endpoint de service direct : suffixe de l’association de service
regional-plproxy-psc-endpoint-all-ports. Cet endpoint est nécessaire pour accéder aux services à haute performance.
Pour les URI d'association de service par région, consultez URI d'association Private Service Connect (PSC) et numéros de projet.
Dans la même région dans un Virtual Private Cloud (VPC), Databricks recommande au maximum un Endpoint par type d'Endpoint. Partagez un Endpoint d’accès général sur tous les Workspace qui utilisent le Virtual Private Cloud (VPC), et un Endpoint de relais SCC pour toute la connectivité du plan de compute classique à partir de ce Virtual Private Cloud (VPC).
Pour les endpoints Private Service Connect, notez les points suivants :
- Endpoint partagés : Les Endpoint à accès général peuvent être partagés dans plusieurs Workspace dans n'importe quelle région. Pour une connectivité de plan de compute classique, un seul ensemble de Endpoint Private Service Connect peut servir tous les Workspace déployés dans ce Virtual Private Cloud (VPC) et cette région.
- Régional : les Endpoint Private Service Connect sont des ressources régionales. Pour les Endpoint Service Direct et SCC relay, les Workspace dans des régions différentes nécessitent des configurations de Endpoint Private Service Connect distinctes. Pour les Endpoint d'accès général que vous autorisez avec une politique d'accès privé entrant basée sur le contexte, les Workspace dans des régions différentes peuvent partager un seul Endpoint dans n'importe quelle région.
- Quota : jusqu'à 10 Endpoint Private Service Connect de chaque type (Accès général, relais SCC et Service Direct) par région, par projet hôte. La limite s'applique par projet hôte (le projet Google Cloud où la Virtual Private Cloud (VPC) est créée), et non par Virtual Private Cloud (VPC). Contactez l'équipe chargée de votre compte si cela constitue une contrainte.
Considérations clés
Avant de configurer Private Service Connect, gardez à l'esprit les points suivants :
- Un Virtual Private Cloud (VPC) géré par le client est requis : vous ne pouvez pas utiliser Private Service Connect avec un Virtual Private Cloud (VPC) géré par Databricks.
- Pas de connectivité entre régions pour le plan de compute classique Private Service Connect : les composants Private Service Connect du plan de compute classique doivent se trouver dans la même région que votre Workspace, y compris le Virtual Private Cloud (VPC) du plan de compute classique, le Workspace, les Endpoint Private Service Connect et les sous-réseaux Endpoint Private Service Connect. Pour les entrées Private Service Connect, un Endpoint d’accès général dans n’importe quelle région peut servir les Workspace dans n’importe quelle région lorsque vous l’autorisez avec une politique d’accès privé entrante basée sur le contexte.
- Résolution DNS : Private Service Connect entrant nécessite des enregistrements DNS privés dans votre Virtual Private Cloud (VPC) de transit. Consultez Configurer le DNS pour Private Service Connect entrant de Google Cloud.
- Intégration de VPC Service Controls : vous pouvez combiner Private Service Connect avec VPC Service Controls pour restreindre davantage l’accès aux APIs Google et à Cloud Storage depuis vos projets Databricks. Pour le compute serverless, la NCC expose des numéros de projet Google Cloud stables que vous ajoutez à vos règles d’entrée VPC Service Controls. Voir URIs d’association et numéros de projet Private Service Connect (PSC).
- Implications du pare-feu : le Virtual Private Cloud (VPC) du plan de compute classique ne peut pas accéder à l'Internet public par default. Si vous utilisez un pare-feu pour contrôler la sortie, vous devez autoriser les URL dont Databricks a besoin, ou fournir un Cloud NAT ou un miroir privé pour les repositories de package et le metastore. Consultez Limiter la sortie réseau pour votre Workspace à l'aide d'un pare-feu.
- Contrôle d’entrée basé sur le contexte : utilisez le contrôle d’entrée basé sur le contexte pour restreindre l’accès public et privé en fonction de l’identité, du type de demande et de la source réseau. Les politiques d’accès privé vous permettent d’autoriser ou de refuser des Endpoint d’accès général enregistrés spécifiques pour chaque Workspace. Voir Contrôle d’entrée basé sur le contexte.