Réseau de plan de compute classique
Cette page présente des fonctionnalités pour personnaliser l'accès réseau entre le plan de contrôle Databricks et le plan de compute classique. La connectivité entre le plan de contrôle et le plan de compute classique s'effectue toujours via le réseau fédérateur du cloud et non via l'Internet public.
Pour en savoir plus sur le plan de contrôle et le plan de compute, consultez Vue d'ensemble de l'architecture de référence réseau.
Pour en savoir plus sur le compute classique et le compute serverless, consultez Compute.
Les fonctionnalités de cette section se concentrent sur l’établissement et la sécurisation de la connexion entre le plan de contrôle Databricks et le plan de compute classique. Cette connexion est étiquetée 2 dans le diagramme ci-dessous :
Qu'est-ce que la connectivité sécurisée des clusters ?
Tous les nouveaux workspaces sont créés avec une connectivité de clusters sécurisée par default. La connectivité sécurisée des clusters signifie que les VPC des clients n'ont pas de ports ouverts et que les ressources du plan de compute classique n'ont pas d'adresses IP publiques. Cela simplifie l'administration réseau en supprimant la nécessité de configurer les ports sur les groupes de sécurité ou le peering réseau.
La connectivité sécurisée des clusters garantit que les clusters se connectent au plan de contrôle Databricks via un tunnel sécurisé utilisant HTTPS (port 443) sans nécessiter d'adresses IP publiques sur les nœuds de cluster. Cette connexion est établie à l'aide d'un relais de connectivité sécurisée des clusters, qui sépare le trafic réseau de l'application web et de l'API REST des tâches de gestion des clusters.
Bien que le plan de compute serverless n'utilise pas le relais de connectivité de cluster sécurisé pour le plan de compute classique, les ressources de compute serverless n'ont pas d'adresses IP publiques.
Déployer un Workspace dans votre propre Virtual Private Cloud (VPC)
Un Virtual Private Cloud (VPC) AWS vous permet de provisionner une section logiquement isolée du cloud AWS où vous pouvez lancer des Ressources AWS dans un réseau virtuel. Le Virtual Private Cloud (VPC) est l'emplacement réseau de vos clusters Databricks. Par default, Databricks crée et gère un Virtual Private Cloud (VPC) pour le Workspace Databricks.
Vous pouvez à la place fournir votre propre Virtual Private Cloud (VPC) pour héberger vos clusters Databricks, ce qui vous permet de mieux contrôler votre propre compte AWS et de limiter les connexions sortantes. Pour tirer parti d'un Virtual Private Cloud (VPC) géré par le client, vous devez spécifier un Virtual Private Cloud (VPC) lorsque vous créez pour la première fois le workspace Databricks. Pour plus d'informations, consultez Configurer un Virtual Private Cloud (VPC) géré par le client.
Appairer le VPC Databricks avec un autre VPC AWS
Par défaut, Databricks crée et gère un Virtual Private Cloud (VPC) pour le workspace Databricks. Pour une sécurité accrue, les Workers qui appartiennent à un cluster ne peuvent uniquement communiquer qu'avec d'autres Workers appartenant au même cluster. Les Worker ne peuvent pas communiquer avec d'autres instances EC2 ou d'autres services AWS s'exécutant dans le Virtual Private Cloud (VPC) de Databricks. Si vous avez un service AWS fonctionnant sur le même Virtual Private Cloud (VPC) que celui du cluster Databricks, il se peut que vous ne puissiez pas communiquer avec le service en raison de cette restriction de pare-feu. Vous pouvez exécuter de tels services en dehors du Virtual Private Cloud (VPC) Databricks et établir un appairage avec ce Virtual Private Cloud (VPC) pour vous connecter à ces services. Voir l'appairage Virtual Private Cloud (VPC).
Activer la connectivité privée du plan de contrôle vers le plan de compute classique
AWS PrivateLink offre une connectivité privée des VPC AWS et des réseaux on-premise aux services AWS. La mise en réseau classique du plan de compute est sécurisée par default. Vous pouvez activer AWS PrivateLink pour renforcer davantage la sécurité du réseau.
Pour plus d’information, consultez Configurer la connectivité privée classique à Databricks.