Connecteur OneDrive

info

Bêta

Cette fonctionnalité est en version bêta. Les administrateurs de workspace peuvent contrôler l’accès à cette fonctionnalité depuis la page Aperçus en activant l’aperçu Lakeflow Connect pour OneDrive For Business . Consultez Gérer les aperçus Databricks.

Le connecteur OneDrive managé de Lakeflow Connect vous permet d’ingérer dans Databricks les fichiers du lecteur Mes fichiers d’un utilisateur sur OneDrive Entreprise. Ingérez des fichiers non structurés sous forme de données binaires ou de valeurs FILE managées, analysez les formats structurés (CSV, JSON, XML, EXCEL et bien d’autres) dans des tables Delta, ou capturez les métadonnées des fichiers sans charger leur contenu.

Pour ingérer des fichiers à partir de sites SharePoint, de sites d’équipe ou de bibliothèques de documents partagées, utilisez le connecteur SharePoint géré.

Pour lire des données depuis OneDrive à l’aide de SQL et des API Spark (read_files, spark.read, Auto Loader), consultez Ingérer des fichiers depuis OneDrive.

Ce qu’il faut savoir avant de start

Sujet	Pourquoi est-ce important ?
Privilèges de connexion	Pour créer une connexion, vous devez disposer du privilège CREATE CONNECTION sur le métastore. Pour créer un pipeline à partir d’une connexion existante, vous devez disposer du privilège USE CONNECTION ou de ALL PRIVILEGES sur la connexion.
Méthode d’authentification	Les étapes de création d’une connexion dépendent de la méthode d’authentification que vous sélectionnez.
Interface	Les étapes de création d’un pipeline dépendent de l’interface. La création de pipelines via l’interface utilisateur n’est pas prise en charge.
Fréquence d’ingestion	La planification du pipeline dépend de vos exigences en matière de latence et de coût.
Modèles courants	Selon vos besoins d’ingestion, le pipeline peut utiliser des configurations telles que le suivi de l’historique, la sélection des colonnes et le filtrage des lignes. Les configurations prises en charge varient selon le connecteur. Consultez Disponibilité des fonctionnalités.

Sujet	Pourquoi est-ce important ?
Privilèges de connexion	Pour créer une connexion, vous devez disposer du privilège CREATE CONNECTION sur le métastore. Pour créer un pipeline à partir d’une connexion existante, vous devez disposer du privilège USE CONNECTION ou de ALL PRIVILEGES sur la connexion.
Méthode d’authentification	Les étapes de création d’une connexion dépendent de la méthode d’authentification que vous sélectionnez.
Interface	Les étapes de création d’un pipeline dépendent de l’interface. La création de pipelines via l’interface utilisateur n’est pas prise en charge.
Fréquence d’ingestion	La planification du pipeline dépend de vos exigences en matière de latence et de coût.
Modèles courants	Selon vos besoins d’ingestion, le pipeline peut utiliser des configurations telles que le suivi de l’historique, la sélection des colonnes et le filtrage des lignes. Les configurations prises en charge varient selon le connecteur. Consultez Disponibilité des fonctionnalités.

Start l’ingestion à partir de OneDrive

Le tableau suivant présente une vue d’ensemble du flux d’ingestion OneDrive de bout en bout, en fonction des privilèges de connexion :

Privilège requis	Étapes
CREATE CONNECTION sur le métastore	(OAuth U2M : géré uniquement par le client) Configurez l’authentification OneDrive avec votre propre application Microsoft Entra ID. Consultez Configurer OAuth U2M : géré par le client pour l’ingestion de Microsoft OneDrive. Créez une connexion à OneDrive. Consultez Créer une connexion OneDrive. Créer un pipeline d’ingestion à partir de la connexion. Consultez Ingérer des données depuis OneDrive.
USE CONNECTION ou ALL PRIVILEGES sur une connexion existante	Utilisez toute interface prise en charge pour créer un pipeline à partir d’une connexion existante. Consultez Ingérer des données depuis OneDrive.

Privilège requis	Étapes
CREATE CONNECTION sur le métastore	(OAuth U2M : géré uniquement par le client) Configurez l’authentification OneDrive avec votre propre application Microsoft Entra ID. Consultez Configurer OAuth U2M : géré par le client pour l’ingestion de Microsoft OneDrive. Créez une connexion à OneDrive. Consultez Créer une connexion OneDrive. Créer un pipeline d’ingestion à partir de la connexion. Consultez Ingérer des données depuis OneDrive.
USE CONNECTION ou ALL PRIVILEGES sur une connexion existante	Utilisez toute interface prise en charge pour créer un pipeline à partir d’une connexion existante. Consultez Ingérer des données depuis OneDrive.

Disponibilité des fonctionnalités

Fonctionnalité	Disponibilité
Création de pipelines via l’interface utilisateur	Non pris en charge
Création de pipelines via API	Pris en charge
Declarative Automation Bundles	Non pris en charge
Ingestion incrémentielle	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration avec Databricks Workflows	Pris en charge
SCD de type 2	Non pris en charge
évolution des schémas	Pris en charge Configurable via schema_evolution_mode. Voir la référence du connecteur Microsoft OneDrive.
Filtrage des lignes via l’API	Pris en charge

Fonctionnalité	Disponibilité
Création de pipelines via l’interface utilisateur	Non pris en charge
Création de pipelines via API	Pris en charge
Declarative Automation Bundles	Non pris en charge
Ingestion incrémentielle	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration avec Databricks Workflows	Pris en charge
SCD de type 2	Non pris en charge
évolution des schémas	Pris en charge Configurable via schema_evolution_mode. Voir la référence du connecteur Microsoft OneDrive.
Filtrage des lignes via l’API	Pris en charge

Formats de fichiers pris en charge

Le connecteur prend en charge l’ingestion de fichiers non structurés et structurés :

• Non structuré : références de fichiers gérées (FILE, Beta) et BINARYFILE.
• Données structurées et semi-structurées : CSV, JSON, XML, EXCEL, PARQUET, AVRO et ORC.

Pour les schémas des tables de destination, consultez Format des données ingérées. Pour connaître les limitations propres à chaque connecteur, consultez Limitations du connecteur Microsoft OneDrive.

Méthodes d’authentification

Méthode d’authentification	Disponibilité
OAuth U2M : géré par Databricks	Pris en charge lorsque cette option est activée dans le Workspace Aucune inscription d’application Microsoft Entra ID n’est requise. Si cette option n’est pas répertoriée, utilisez OAuth U2M : géré par le client . Consultez Configurer OAuth U2M : géré par Databricks pour l’ingestion Microsoft OneDrive.
OAuth U2M : géré par le client	Pris en charge Utilise votre propre application Microsoft Entra ID. Consultez Configurer OAuth U2M : géré par le client pour l’ingestion Microsoft OneDrive.
OAuth M2M	Non pris en charge
OAuth (jeton de refresh manuel)	Non pris en charge

Méthode d’authentification	Disponibilité
OAuth U2M : géré par Databricks	Pris en charge lorsque cette option est activée dans le Workspace Aucune inscription d’application Microsoft Entra ID n’est requise. Si cette option n’est pas répertoriée, utilisez OAuth U2M : géré par le client . Consultez Configurer OAuth U2M : géré par Databricks pour l’ingestion Microsoft OneDrive.
OAuth U2M : géré par le client	Pris en charge Utilise votre propre application Microsoft Entra ID. Consultez Configurer OAuth U2M : géré par le client pour l’ingestion Microsoft OneDrive.
OAuth M2M	Non pris en charge
OAuth (jeton de refresh manuel)	Non pris en charge

Avec les deux méthodes U2M, la connexion s’authentifie comme le compte Microsoft connecté ; un pipeline ne peut donc ingérer que les fichiers auxquels ce compte a accès.