Recommandations réseau pour Lakehouse Federation
La Lakehouse Federation nécessite un chemin réseau entre vos clusters Databricks ou SQL Warehouse et le système de base de données externe auquel vous vous connectez. Cette page explique comment configurer ce chemin lorsque l'un ou l'autre côté a des restrictions d'accès au réseau ou un serveur DNS personnalisé.
Veuillez prendre en compte les points suivants lors de la configuration de la connectivité réseau pour Lakehouse Federation :
- Tout le trafic réseau pour les queries fédérées est directement entre les clusters Databricks (ou SQL Warehouse) et le système de base de données externe. Ni Unity Catalog ni le plan de contrôle Databricks ne se trouvent sur le chemin du réseau.
- Les connexions utilisant OAuth ont une exigence supplémentaire. Lorsqu'une connexion est authentifiée avec OAuth, l'échange de jetons OAuth se produit à partir du plan de contrôle Databricks, et non du plan de compute. Le plan de contrôle doit être en mesure d'atteindre l'endpoint OAuth du système externe. Autoriser uniquement le plan de compute n'est pas suffisant pour ces connexions. Pour les exigences spécifiques aux connecteurs, voir les exigences de l'endpoint OAuth dans Limites de fédération des queries Snowflake et Créer une connexion SQL Server.
- Le compute Databricks (c'est-à-dire, les clusters et les SQL Warehouse) se déploie toujours dans le cloud, mais le système de base de données externe peut être on-premise ou hébergé sur n'importe quel fournisseur de cloud, tant qu'il existe un chemin réseau viable entre votre compute Databricks et la base de données externe.
- Si vous avez des restrictions réseau entrantes ou sortantes sur le compute Databricks ou le système de base de données externe, reportez-vous aux sections suivantes pour obtenir des conseils généraux afin de vous aider à créer un chemin réseau viable.
Pour plus d'informations sur le réseautage dans les workspaces Databricks, consultez Réseautage.
Le système de base de données et le compute Databricks sont tous deux accessibles depuis Internet
La connexion devrait fonctionner sans configuration.
Le système de base de données a des restrictions d'accès au réseau
Si le système de base de données externe présente des restrictions d'accès réseau entrantes ou sortantes et que le cluster Databricks ou le SQL Warehouse est accessible depuis Internet, configurez l'une des solutions réseau suivantes pour vous connecter à partir de ressources de compute classiques :
-
Adresse IP de sortie stable sur le compute Databricks.
Depuis le plan de compute classique, configurez une adresse IP stable avec un équilibreur de charge, une passerelle NAT, une passerelle Internet ou un équivalent, et connectez-la au sous-réseau où le compute Databricks est déployé. Ceci permet à la ressource de compute de partager une adresse IP publique stable qui peut être mise en liste blanche côté base de données externe.
À partir du plan de compute serverless, Databricks publie son IP sortante, que le système de base de données externe peut ajouter à une liste verte. Vous devez maintenir ces adresses IP à jour en mettant en place une automatisation. Consultez la configuration du pare-feu du compute Serverless.
Depuis le plan de compute classique, le système de base de données externe doit ajouter à la liste blanche l'IP stable du compute Databricks pour le trafic entrant et sortant.
-
Private Link (uniquement lorsque la base de données externe se trouve sur le même cloud que le compute Databricks)
À partir du plan de compute classique, configurez une connexion de Private Link entre le réseau où la base de données est déployée et le réseau où le compute Databricks est déployé.
Le compute Databricks a des restrictions d'accès au réseau
Si le système de base de données externe est accessible depuis Internet et que le compute Databricks a des restrictions d'accès réseau entrantes ou sortantes (ce qui n'est possible que si vous êtes sur un réseau géré par le client), alors effectuez l'une des configurations suivantes :
-
Autorisez le hostname de la base de données externe dans les règles de pare-feu du sous-réseau où le compute Databricks est déployé.
Si vous choisissez de mettre sur liste blanche l'adresse IP de la base de données externe plutôt que le Hostname, assurez-vous que la base de données externe dispose d'une adresse IP stable.
-
Private Link (uniquement lorsque la base de données externe est sur le même cloud que le compute Databricks)
Configurer une connexion Private Link entre le réseau où la base de données est déployée et le réseau où le compute Databricks est déployé.
Le compute Databricks dispose d'un serveur DNS personnalisé
Si le système de base de données externe est accessible depuis Internet et que le compute Databricks dispose d'un serveur DNS personnalisé (ce qui n'est possible que si vous êtes sur un réseau géré par le client), ajoutez le hostname du système de base de données à votre serveur DNS personnalisé afin qu'il puisse être résolu.
Réseautage spécifique au connecteur
Certains connecteurs ont des exigences réseau allant au-delà des conseils généraux sur cette page, tels que des Endpoint requis, des vérifications de connectivité ou des options de connectivité privée. Pour plus de détails, consultez la section réseau de la page de connexion correspondante :