Aller au contenu principal

Se connecter aux sources d’ingestion gérées

Les connexions d'ingestion gérées par Lakeflow Connect stockent les identifiants d'authentification pour vos sources de données dans Unity Catalog. Tout utilisateur disposant du privilège USE CONNECTION sur la connexion peut créer des pipelines d'ingestion gérés à partir de sources comme Salesforce et SQL Server.

Un utilisateur administrateur doit créer la connexion si les utilisateurs qui créeront des pipelines sont des utilisateurs non administrateurs ou s'ils utiliseront des interfaces programmatiques. Ces interfaces exigent que les utilisateurs spécifient une connexion existante lorsqu'ils créent un pipeline.

Alternativement, les utilisateurs administrateurs peuvent créer une connexion et un pipeline en même temps dans l'interface utilisateur d'ingestion de données. Consultez les connecteurs gérés dans Lakeflow Connect.

Ingestion vs. connexions de fédération

Lakeflow Connect propose des connecteurs d'ingestion entièrement managés pour les applications d'entreprise et les sources de bases de données. Lakehouse Federation vous permet de query des sources de données externes sans déplacer vos données. Vous pouvez créer des connexions pour la fédération d'ingestion et de query dans l'Explorateur de catalogues.

Exigences relatives aux privilèges

Les privilèges utilisateur requis pour se connecter à une source d'ingestion gérée dépendent de l'interface que vous choisissez :

Scénario

Interfaces prises en charge

Privilèges utilisateur requis

Un utilisateur admin crée une connexion et un pipeline d'ingestion simultanément.

Interface utilisateur d'ingestion de données

  • CREATE CONNECTION sur le métastore
  • USE CATALOG sur le catalogue cible
  • (Applications SaaS) USE SCHEMA et CREATE TABLE sur un schéma existant ou CREATE SCHEMA sur le catalogue cible
  • (Bases de données) USE SCHEMA, CREATE TABLE et CREATE VOLUME sur un schéma existant ou CREATE SCHEMA sur le catalogue cible

Un utilisateur administrateur crée une connexion pour que les utilisateurs non-administrateurs puissent créer des pipelines.

Admin :

  • Explorateur de catalogue

Non-administrateur :

  • Interface utilisateur d'ingestion de données
  • Declarative Automation Bundles
  • APIs Databricks
  • SDK Databricks
  • Databricks CLI

Admin :

  • CREATE CONNECTION sur le métastore

Non-administrateur :

  • USE CONNECTION sur une connexion existante
  • USE CATALOG sur le catalogue cible
  • (Applications SaaS) USE SCHEMA et CREATE TABLE sur un schéma existant ou CREATE SCHEMA sur le catalogue cible
  • (Bases de données) USE SCHEMA, CREATE TABLE et CREATE VOLUME sur un schéma existant ou CREATE SCHEMA sur le catalogue cible

Scénario

Interfaces prises en charge

Privilèges utilisateur requis

Un utilisateur admin crée une connexion et un pipeline d'ingestion simultanément.

Interface utilisateur d'ingestion de données

  • CREATE CONNECTION sur le métastore
  • USE CATALOG sur le catalogue cible
  • (Applications SaaS) USE SCHEMA et CREATE TABLE sur un schéma existant ou CREATE SCHEMA sur le catalogue cible
  • (Bases de données) USE SCHEMA, CREATE TABLE et CREATE VOLUME sur un schéma existant ou CREATE SCHEMA sur le catalogue cible

Un utilisateur administrateur crée une connexion pour que les utilisateurs non-administrateurs puissent créer des pipelines.

Admin :

  • Explorateur de catalogue

Non-administrateur :

  • Interface utilisateur d'ingestion de données
  • Declarative Automation Bundles
  • APIs Databricks
  • SDK Databricks
  • Databricks CLI

Admin :

  • CREATE CONNECTION sur le métastore

Non-administrateur :

  • USE CONNECTION sur une connexion existante
  • USE CATALOG sur le catalogue cible
  • (Applications SaaS) USE SCHEMA et CREATE TABLE sur un schéma existant ou CREATE SCHEMA sur le catalogue cible
  • (Bases de données) USE SCHEMA, CREATE TABLE et CREATE VOLUME sur un schéma existant ou CREATE SCHEMA sur le catalogue cible

Créer une connexion

Pour des instructions détaillées sur la création d'une connexion Unity Catalog pour une source d'ingestion gérée spécifique, consultez la page « Créer une connexion » du connecteur dans la documentation des connecteurs gérés.

Étapes suivantes

Après avoir créé une connexion à votre source d'ingestion gérée dans Catalog Explorer, tout utilisateur disposant du privilège USE CONNECTION sur la connexion peut créer un pipeline d'ingestion des manières suivantes :

  • Assistant d'ingestion (connecteurs pris en charge uniquement)
  • Declarative Automation Bundles
  • APIs Databricks
  • SDK Databricks
  • Databricks CLI

Pour les instructions de création de pipeline, consultez la documentation du connecteur géré.