Concepts du Private Link

Cette page fournit un aperçu général de Private Link chez Databricks. Private Link crée une connexion privée et sécurisée entre vos Ressources Databricks et vos services AWS et Ressources Serverless, garantissant que votre trafic réseau n'est pas exposé à l'Internet public.

Databricks prend en charge trois types de connectivité Private Link :

• Entrant (front-end) : Sécurise les connexions des utilisateurs aux Workspace et aux Ressources au niveau du compte (par exemple, la console du compte et Genie au niveau du compte).
• Sortant (Serverless) : sécurise les connexions du compute Serverless Databricks à vos Ressources clients
• Classique (back-end) : Sécurise les connexions du compute classique au plan de contrôle

Vue d'ensemble de la connectivité privée

Private Link permet une connectivité sécurisée et privée de vos VPC AWS et réseaux on-premise vers les services AWS, garantissant que votre trafic reste isolé de l'internet public. Cette fonctionnalité est conçue pour aider les organisations à répondre aux exigences de sécurité et de conformité en permettant un réseau privé de bout en bout et en minimisant le risque d'exfiltration de données.

Vous pouvez activer les connexions Private Link entrantes (front-end), sortantes (serverless) ou de compute classique (back-end) indépendamment, ou une combinaison des trois, en fonction de vos exigences en matière de sécurité et de conformité. Par exemple, vous pouvez appliquer une connectivité privée à vos ressources Databricks tout en rejetant automatiquement toutes les connexions réseau publiques. Cette approche combinée offre une isolation réseau complète, réduisant votre surface d'attaque et prenant en charge la conformité pour les charges de travail sensibles.

Avec Private Link, vous pouvez :

• Bloquez l'accès aux données depuis les réseaux non autorisés ou l'internet public lors de l'utilisation de l'application web Databricks ou des APIs.
• Réduisez le risque d'exfiltration de données en limitant l'exposition réseau uniquement aux endpoints privés approuvés.

Choisissez la bonne implémentation du Private Link

Utilisez ce guide pour déterminer l'implémentation qui correspond le mieux à vos besoins.

Considération	Entrant (front-end) uniquement	Sortants (serverless) uniquement	Plan de compute classique (back-end) uniquement	Isolement privé complet.
Objectif de sécurité principal	Seules les personnes autorisées peuvent accéder à mes ressources Databricks.	Accès sécurisé aux données à partir du serverless.	Verrouiller le plan de compute classique	Isolation maximale (tout sécuriser)
Connectivité utilisateur	Privé ou public	Public (Internet)	Public (Internet)	Privé uniquement
Accès aux données Serverless	Public (Internet)	Privé (pour les Ressources clients)	Public (Internet)	Privé (pour les Ressources clients)
Connectivité des clusters au plan de contrôle	Public (chemin sécurisé standard)	Public (chemin sécurisé standard)	Privé (obligatoire)	Privé (obligatoire)
Prérequis	Forfait Entreprise	Forfait Entreprise	Plan d'entreprise, Virtual Private Cloud (VPC) géré par les clients, SCC	Plan d'entreprise, Virtual Private Cloud (VPC) géré par les clients, SCC
Coût relatif	Coût par endpoint et transfert de données	Coût par Endpoint et données traitées	Coût par endpoint et transfert de données	Peut entraîner un coût plus élevé (tous les Endpoint, y compris le transfert de données et le traitement)

Considération	Entrant (front-end) uniquement	Sortants (serverless) uniquement	Plan de compute classique (back-end) uniquement	Isolement privé complet.
Objectif de sécurité principal	Seules les personnes autorisées peuvent accéder à mes ressources Databricks.	Accès sécurisé aux données à partir du serverless.	Verrouiller le plan de compute classique	Isolation maximale (tout sécuriser)
Connectivité utilisateur	Privé ou public	Public (Internet)	Public (Internet)	Privé uniquement
Accès aux données Serverless	Public (Internet)	Privé (pour les Ressources clients)	Public (Internet)	Privé (pour les Ressources clients)
Connectivité des clusters au plan de contrôle	Public (chemin sécurisé standard)	Public (chemin sécurisé standard)	Privé (obligatoire)	Privé (obligatoire)
Prérequis	Forfait Entreprise	Forfait Entreprise	Plan d'entreprise, Virtual Private Cloud (VPC) géré par les clients, SCC	Plan d'entreprise, Virtual Private Cloud (VPC) géré par les clients, SCC
Coût relatif	Coût par endpoint et transfert de données	Coût par Endpoint et données traitées	Coût par endpoint et transfert de données	Peut entraîner un coût plus élevé (tous les Endpoint, y compris le transfert de données et le traitement)

Connectivité entrante (frontale)

Inbound Private Link sécurise la connexion des utilisateurs aux workspaces Databricks et aux ressources au niveau du compte. Le trafic transite par un Endpoint d'interface Virtual Private Cloud (VPC) dans votre Virtual Private Cloud (VPC) de transit au lieu des adresses IP publiques. Le Private Link entrant permet un accès sécurisé à :

• Application web Databricks
• API REST
• Databricks Apps
• API Databricks Connect
• Services Databricks à forte intensité de performance
• Genie One au niveau du compte

Consultez Configurer le Private Link front-end.

Connectivité privée entrante vers des services à forte intensité de performances

Connectivité privée entrante pour les services à forte intensité de performance

Le Private Link pour les services à forte intensité de performances offre une connectivité privée aux services suivants :

• Zerobus Ingest
• Autoscaling Lakebase

Voir Configurer le Link privé entrant pour les services à forte intensité de performances.

Connectivité sortante (serverless)

Outbound Private Link permet une connectivité privée des ressources de compute serverless Databricks à vos ressources AWS. Contrairement aux Private Link de plan de compute entrant et classique, qui sécurisent les connexions à Databricks, les Private Link sortants sécurisent les connexions du compute Serverless à vos Ressources clients.

Le Link privé Serverless utilise les Configurations de connectivité réseau (NCC), qui sont des constructions régionales au niveau du compte qui gèrent la création d'Endpoint privé pour monter en charge. Les NCC peuvent être attachés à plusieurs workspaces dans la même région.

Connectivité privée aux compartiments S3

Connectivité privée aux compartiments S3

info

Preview

Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.

Permet au compute serverless d'accéder aux compartiments S3 intra-région via AWS PrivateLink sans traverser l'internet public. Votre trafic de données reste entièrement au sein du réseau AWS.

Consultez Configurer la connectivité privée aux compartiments de stockage AWS S3.

Connectivité privée aux ressources Virtual Private Cloud (VPC)

Connectivité privée aux ressources du Virtual Private Cloud (VPC)

Permet au compute Serverless d'accéder aux Ressources de votre Virtual Private Cloud (VPC), telles que les bases de données et les services internes, via des Endpoint privés.

Consulter Configurer la connectivité privée aux ressources de votre Virtual Private Cloud (VPC).

Concepts clés pour la connectivité sortante

Concepts clés pour la connectivité sortante

• Configuration de la connectivité réseau (NCC) : une construction régionale au niveau du compte qui gère les endpoints privés et contrôle la façon dont le compute serverless accède aux ressources des clients.
• Règles d'un Endpoint privé : Définissez les Ressources spécifiques que le compute Serverless peut accéder en privé.
• Modèle d'attachement de workspace : les NCC peuvent être attachés à un maximum de 50 workspaces dans la même région.
• Limites et quotas :
  • Jusqu'à 10 NCC par région et par compte
  • 30 Endpoint privés par région pour S3 (distribués sur les NCC)
  • 100 Endpoints privés par région pour les Ressources Virtual Private Cloud (VPC) (réparties entre les NCC)
  • Jusqu'à 50 workspaces par NCC

Connectivité privée du plan de compute classique

Le Link privé de connectivité privée du plan de compute classique sécurise la connexion des clusters Databricks au plan de contrôle. Les clusters se connectent au plan de contrôle pour les APIs REST et le relais de connectivité de cluster sécurisé.

Adresses de la connectivité Private Link du plan de compute classique :

• Exigences de conformité : aide à respecter les mandats stricts de conformité réglementaire et d'entreprise qui exigent que tout le trafic cloud interne reste sur un réseau privé.
• Renforcement du périmètre réseau : L'implémentation de Private Link sur le plan compute classique, associée à des endpoints Virtual Private Cloud (VPC) pour les services AWS (tels que S3, STS et Kinesis), vous permet de supprimer les passerelles internet de votre Virtual Private Cloud (VPC). Cela réduit les risques d'exfiltration des données en garantissant que les clusters de traitement de données n'ont pas d'accès vers des services ou des destinations non autorisés sur l'internet public.

Consultez Configurer Private Link back-end.

remarque

Vous pouvez configurer la connectivité privée du plan de compute classique de manière indépendante ; cela ne nécessite pas de connectivité entrante ou serverless.

Clouds privés virtuels pour la connectivité privée

La connectivité privée utilise deux clouds privés virtuels (VPC) distincts.

• Virtual Private Cloud (VPC) de transit : Ce VPC sert de hub central pour la connectivité des utilisateurs et contient l'Endpoint Virtual Private Cloud (VPC) entrant nécessaire pour l'accès des clients aux Workspace. Vous pouvez avoir plus d'un Virtual Private Cloud (VPC) de transit.
• Virtual Private Cloud (VPC) Compute: Il s'agit d'un Virtual Private Cloud (VPC) que vous créez pour héberger votre Databricks Workspace et des Endpoints Virtual Private Cloud (VPC) classiques.

Dans certains déploiements, un seul Virtual Private Cloud (VPC) peut remplir les deux fonctions en réutilisant le même Endpoint REST API/WebApp pour le Private Link entrant, sortant et du compute plane classique.

Allocation et dimensionnement des sous-réseaux

Planifiez vos sous-réseaux dans chaque VPC pour prendre en charge la connectivité privée et les déploiements.

• Sous-réseaux Virtual Private Cloud (VPC) de transit :

  • Sous-réseau d'endpoint Virtual Private Cloud (VPC) entrant : attribue des adresses IP aux endpoints Virtual Private Cloud (VPC) entrants.

• Sous-réseaux de Virtual Private Cloud (VPC) du plan de compute :

  • Sous-réseaux de Workspace : le déploiement d'un Workspace Databricks nécessite au moins deux sous-réseaux dans des zones de disponibilité distinctes. Pour des informations sur le dimensionnement des sous-réseaux de Workspace, consultez Sous-réseaux.
  • Sous-réseau d'Endpoint Virtual Private Cloud (VPC) : Un sous-réseau supplémentaire est recommandé pour héberger les Endpoint Virtual Private Cloud (VPC) pour la connectivité privée du plan de compute classique.

Endpoints Virtual Private Cloud (VPC) Databricks

Databricks utilise différents types d'Endpoints Virtual Private Cloud (VPC) pour privatiser le trafic. Comprenez leurs différents rôles pour les mettre en œuvre correctement.

• Endpoint d'accès général : Il s'agit de l'Endpoint Virtual Private Cloud (VPC) principal pour sécuriser le trafic vers et depuis vos Workspaces et les Ressources au niveau du compte. Il gère les appels d'API REST pour les Private Link entrants et classiques du compute plane.
• Endpoint de relais SCC : cet Endpoint Virtual Private Cloud (VPC) est spécifiquement destiné à la connectivité sécurisée des clusters (SCC) entre le plan de compute et le plan de contrôle. Le Private Link du plan de compute classique requiert cet Endpoint. Consultez Qu’est-ce que la connectivité sécurisée des clusters ?.
• Endpoint direct de service : cet Endpoint est nécessaire pour accéder aux services à forte intensité de performances.

astuce

Au sein du même Virtual Private Cloud (VPC), Databricks recommande au maximum un Endpoint par type d'Endpoint. Partagez un Endpoint d'accès général pour tous les accès au niveau du Workspace et du compte, et un Endpoint de relais SCC pour tous les accès de relais SCC à partir de ce Virtual Private Cloud (VPC).

Pour les Endpoint VPC, notez ce qui suit :

• Shared Endpoint: Les Endpoint Virtual Private Cloud (VPC) peuvent être partagés entre plusieurs Workspace et Ressources au niveau du compte dans n'importe quelle région pour l'accès général. Pour la connectivité du plan compute classique, un ensemble unique d'Endpoint Virtual Private Cloud (VPC) peut servir tous les Workspace déployés dans ce Virtual Private Cloud (VPC) et cette région.
• Spécifiques à la région : les Endpoint Virtual Private Cloud (VPC) sont des Ressources spécifiques à la région. Pour les Endpoint de relais Service-Direct et SCC, les Workspaces situés dans des régions différentes nécessitent des configurations de Virtual Private Cloud (VPC) Endpoint distinctes. Pour les Endpoint d'accès général, les Workspace situés dans différentes régions peuvent partager un seul Endpoint dans n'importe quelle région.

Considérations clés

Avant de configurer la connectivité privée, gardez les points suivants à l'esprit :

• Exigences relatives aux ACL réseau : Databricks exige des ACL réseau au niveau du sous-réseau pour ajouter 0.0.0.0/0 à votre liste d'autorisation. Pour contrôler le trafic sortant, utilisez un pare-feu sortant ou un appareil proxy pour bloquer la majeure partie du trafic, mais autorisez les URL auxquelles Databricks doit se connecter. Consultez Configurer un pare-feu et l'accès sortant.
• Connectivité du métastore via le port 3306 (HMS hérité uniquement) : Ce port est uniquement applicable aux Workspace hérités utilisant le Hive metastore déprécié. Les nouveaux workspaces ont le Hive Metastore hérité désactivé par default. Pour les Workspace hérités, le port 3306 n'utilise pas Private Link pour la connectivité au plan de contrôle. Pour la connectivité du métastore entre les plans de compute et de contrôle, le trafic transite par un espace réseau routable publiquement à l'aide d'une connexion chiffrée. Les FQDN résolvables publiquement pour les instances RDS hébergées par Databricks qui hébergent l'HMS sont disponibles à l'adresse adresses RDS pour le Hive metastore hérité.
• Bonnes pratiques pour les groupes de sécurité : suivez le principe du moindre privilège en créant des groupes de sécurité dédiés pour vos Endpoint VPC :
  • Groupe de sécurité du cluster de compute : Doit autoriser le trafic TCP sortant vers le groupe de sécurité de l'Endpoint Virtual Private Cloud (VPC) sur les ports requis (443, 3306, 6666, etc.). Consultez Groupes de sécurité
  • Groupe de sécurité de l'Endpoint Virtual Private Cloud (VPC) : doit autoriser le trafic TCP entrant provenant du groupe de sécurité du cluster de compute sur ces mêmes ports.