Exécuter des queries fédérées sur Snowflake (authentification de base)

Cette page décrit comment configurer Lakehouse Federation pour exécuter des requêtes fédérées sur des données Snowflake qui ne sont pas gérées par Databricks. Pour en savoir plus sur Lakehouse Federation, consultez Connecter aux bases de données et catalogues externes

Pour vous connecter à votre base de données Snowflake à l'aide de Lakehouse Federation, vous devez créer les éléments suivants dans votre métastore Databricks Unity Catalog (les workspaces créés après le 8 novembre 2023 disposent déjà d'un métastore Unity Catalog provisionné automatiquement) :

Une connexion à votre base de données Snowflake.
Un catalogue étranger qui reflète votre base de données Snowflake dans Unity Catalog afin que vous puissiez utiliser la syntaxe de query et les outils de gouvernance des données de Unity Catalog pour gérer l’accès des utilisateurs Databricks à la base de données.

Cette page explique comment exécuter des queries fédérées sur les données Snowflake à l'aide de l'authentification de base (nom d'utilisateur/mot de passe). Pour les autres méthodes d'authentification, consultez les pages suivantes :

Vous pouvez exécuter des requêtes fédérées sur Snowflake en utilisant la fédération de requêtes ou la fédération de catalogues.

Dans la fédération de query, JDBC transmet la query du Unity Catalog à la base de données externe. Ceci est idéal pour le reporting à la demande ou les travaux de preuve de concept sur vos pipelines ETL.

Dans la fédération de catalogue, le query Unity Catalog s'exécute directement sur le stockage de fichiers. Cette approche est utile pour la migration incrémentielle sans adaptation de code ou comme modèle hybride à plus long terme pour les organisations qui doivent maintenir certaines données dans Snowflake parallèlement à leurs données enregistrées dans Unity Catalog. Consultez Activer la fédération de catalogue Snowflake.

Avant de commencer

Exigences du Workspace :

Workspace activé pour Unity Catalog. Les Workspace créés après le 8 novembre 2023 sont automatiquement activés pour Unity Catalog, y compris le provisionnement automatique du métastore. Vous n'avez pas besoin de créer manuellement un métastore, à moins que votre workspace ne soit antérieur à l'activation automatique et n'ait pas été activé pour Unity Catalog. Voir Se familiariser avec Unity Catalog.

Compute requis :

Connectivité réseau de votre ressource de compute vers les systèmes de bases de données cibles. Consultez les recommandations de mise en réseau pour Lakehouse Federation.
Le compute Databricks doit utiliser Databricks Runtime 13.3 LTS ou une version ultérieure et le mode d’accès **Standard** ou **Dédié**.
Les SQL warehouses doivent être Pro ou Serverless et doivent utiliser la version 2023.40 ou ultérieure.

Autorisations requises :

Pour créer une connexion, vous devez être administrateur de métastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le métastore Unity Catalog attaché à l'espace de travail. Dans les espaces de travail qui ont été activés automatiquement pour Unity Catalog, les administrateurs d'espace de travail disposent du privilège CREATE CONNECTION par default.
Pour créer un catalogue externe, vous devez disposer de l'autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion. Dans les workspaces activés automatiquement pour Unity Catalog, les administrateurs du workspace disposent du privilège CREATE CATALOG par default.

Des exigences d'autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

Configurer Microsoft Entra ID

Suivez Configurer Microsoft Entra ID pour OAuth externe dans la documentation Snowflake.

Créer une connexion

Une connexion spécifie un chemin d'accès et des identifiants pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser Catalog Explorer ou la commande SQL CREATE CONNECTION dans un Notebook Databricks ou l'éditeur de query Databricks SQL.

remarque

Vous pouvez également utiliser l'API REST Databricks ou la CLI Databricks pour créer une connexion. Voir POST /api/2.1/unity-catalog/connections et les commandes Unity Catalog.

Autorisations requises : administrateur du Metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Catalog Explorer
SQL

Dans votre workspace Databricks, cliquez sur Catalogue .
En haut du volet **Catalogue**, cliquez sur l'icône **Ajouter** et sélectionnez **Créer une connexion** dans le menu.
Sur la page **Principes de base de la connexion** de l’assistant **Configurer la connexion**, saisissez un **Nom de connexion** convivial.
Sélectionnez un type de connexion Snowflake.
Pour le Type d'authentification , sélectionnez Username and password (authentification de base) dans le menu déroulant.
Ajouter un commentaire (facultatif).
Cliquez sur Suivant .
Saisissez les détails d'authentification et de connexion suivants pour votre warehouse Snowflake. Les propriétés spécifiques à la méthode d'authentification que vous avez sélectionnée sont précédées de Auth type entre parenthèses.
- Hôte : Par exemple, snowflake-demo.east-us-2.azure.snowflakecomputing.com
- Port : par exemple, 443
- Utilisateur : Par exemple, snowflake-user
- Mot de passe : Par exemple, password123
Cliquez sur Suivant .
Sur la page Détails de la connexion , spécifiez les éléments suivants :
- Snowflake warehouse : Par exemple, my-snowflake-warehouse
- (Facultatif) Hôte proxy : Hôte du proxy utilisé pour se connecter à Snowflake. Vous devez également sélectionner Utiliser un proxy et spécifier le Port du proxy .
- (Facultatif) Utiliser un proxy : pour vous connecter à Snowflake à l'aide d'un serveur proxy.
- (Facultatif) Port du proxy : Port du proxy utilisé pour se connecter à Snowflake. Vous devez également sélectionner **Utiliser un proxy** et spécifier **Hôte proxy**.
- (Facultatif) Rôle Snowflake : Le rôle de sécurité par default à utiliser pour la session après la connexion.
Cliquez sur Suivant .
Sur la page **Bases du catalogue**, veuillez saisir un nom pour le catalogue étranger. Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez query et gérer l'accès aux données de cette base de données à l'aide de Databricks et de Unity Catalog.
(Facultatif) Cliquez sur **Tester la connexion** pour confirmer que cela fonctionne.
Cliquez sur **Créer un catalogue**.
Sur la page Accès , sélectionnez les workspaces dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les workspaces ont accès , ou cliquer sur Attribuer aux workspaces , sélectionner les workspaces, puis cliquer sur Attribuer .
Modifiez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. start à taper un principal dans la zone de texte, puis cliquez sur le principal dans les résultats renvoyés.
Accordez les **Privilèges** sur le catalogue. Cliquez sur Accorder :
1. Spécifiez les **principals** qui auront accès aux objets dans le catalogue. start à taper un principal dans la zone de texte, puis cliquez sur le principal dans les résultats renvoyés.
2. Sélectionnez les **Préréglages de privilèges** à accorder à chaque principal. Tous les utilisateurs du compte se voient accorder BROWSE par default.
  - Sélectionnez Data Reader dans le menu déroulant pour accorder read privilèges sur les objets du catalogue.
  - Sélectionnez **Data Editor** dans le menu déroulant pour accorder read les modify privilèges et sur les objets du catalogue.
  - Sélectionnez manuellement les privilèges à accorder.
3. Cliquez sur Accorder .
Cliquez sur Suivant .
Sur la page Métadonnées , spécifiez les paires clé-valeur de balises. Pour plus d'informations, consultez Appliquer des balises aux objets sécurisables d'Unity Catalog.
Ajouter un commentaire (facultatif).
Cliquez sur Enregistrer .

Exécutez la commande suivante dans un Notebook ou l'éditeur de requêtes Databricks SQL.

SQL
CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user '<user>',
  password '<password>'
);

Nous vous recommandons d'utiliser les secrets Databricks plutôt que des chaînes de texte brut pour les valeurs sensibles comme les identifiants. Par exemple :

SQL
CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Pour en savoir plus sur la configuration des secrets, consultez la gestion des secrets.

Options de connexion avancées

Les connexions Snowflake prennent en charge l'option avancée suivante pour les environnements à sortie restreinte ou de connectivité privée :

disableOCSPChecksDéfinissez sur true pour désactiver les vérifications de révocation de certificat OCSP (Online Certificate Status Protocol) dans le driver JDBC Snowflake. La désactivation des vérifications OCSP ignore la vérification de la révocation des certificats.

important

Autorisez le trafic sortant vers le Snowflake OCSP responder chaque fois que cela est possible. Laissez disableOCSPChecks non défini ou définissez-le sur false. Définissez-le sur true uniquement si votre configuration de connectivité privée ou à sortie restreinte ne peut pas autoriser ce trafic.

Cette option n'est pas affichée dans l'Explorateur de catalogues. Vous pouvez le définir lorsque vous créez la connexion avec SQL :

SQL
CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  <connection-options>,
  disableOCSPChecks 'true'
);

Pour une connexion existante, utilisez ALTER CONNECTION.

Identifiants de base de données sensibles à la casse

Le champ database du catalogue étranger correspond à un identifiant de base de données Snowflake. Si l'identifiant de la base de données Snowflake n'est pas sensible à la casse, la casse que vous utilisez dans le catalogue étranger <database-name> est conservée. Toutefois, si l'identifiant de la base de données Snowflake est sensible à la casse, vous devez envelopper le catalogue étranger <database-name> entre guillemets pour préserver la casse.

Par exemple :

database est converti en DATABASE
"database" est converti en database
"database""" est converti en database"

Pour échapper un guillemet double, utilisez un autre guillemet double.
"database"" entraîne une erreur car le guillemet double n'est pas correctement échappé.

Pour plus d'informations, consultez Exigences en matière d'identifiants dans la documentation Snowflake.

Pushdowns pris en charge

Les pushdowns suivants sont pris en charge :

Filtres
Projections
Limite
Décalage
Jointures
Agrégats (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)
Fonctions (fonctions de chaîne, fonctions mathématiques, fonctions de date, d'heure et de Timestamp, et autres fonctions diverses, telles que Alias, Cast, SortOrder)
Fonctions de fenêtre (DenseRank, Rank, RowNumber)
Tri
Top-N (combinant le tri et la limite en une seule opération), pris en charge dans Databricks Runtime 17.3 et versions supérieures.

Mappages des types de données

Lorsque vous lisez depuis Snowflake vers Spark, les types de données sont mappés comme suit :

Type Snowflake	Type Spark
`decimal`, `number`, `numeric`	`DecimalType`
`bigint`, `byteint`, `int`, `integer`, `smallint`, `tinyint`	`IntegerType`
`float`, `float4`, `float8`	`FloatType`
`double`, `double precision`, `real`	`DoubleType`
`char`, `character`, `string`, `text`, `time`, `varchar`	`StringType`
`binary`	`BinaryType`
`boolean`	`BooleanType`
`date`	`DateType`
`datetime`, `timestamp`, `timestamp_ltz`, `timestamp_ntz`, `timestamp_tz`	`TimestampType`

Type Snowflake	Type Spark
`decimal`, `number`, `numeric`	`DecimalType`
`bigint`, `byteint`, `int`, `integer`, `smallint`, `tinyint`	`IntegerType`
`float`, `float4`, `float8`	`FloatType`
`double`, `double precision`, `real`	`DoubleType`
`char`, `character`, `string`, `text`, `time`, `varchar`	`StringType`
`binary`	`BinaryType`
`boolean`	`BooleanType`
`date`	`DateType`
`datetime`, `timestamp`, `timestamp_ltz`, `timestamp_ntz`, `timestamp_tz`	`TimestampType`

Avant de commencer​

Configurer Microsoft Entra ID​

Créer une connexion​

Options de connexion avancées​

Identifiants de base de données sensibles à la casse​

Pushdowns pris en charge​

Mappages des types de données​