Référence du connecteur Microsoft OneDrive

info

Bêta

Cette fonctionnalité est en bêta. Les administrateurs du Workspace peuvent contrôler l’accès à cette fonctionnalité depuis la page Aperçus en optant pour l’aperçu Lakeflow Connect for OneDrive For Business . Consultez Gérer les aperçus Databricks.

Cette page contient des documents de référence pour le connecteur Microsoft OneDrive dans Databricks Lakeflow Connect.

onedrive_options parameters

Définissez ces options dans le bloc connector_options.onedrive_options de chaque table de votre définition de pipeline.

parameter	Type	Obligatoire	Description
url	Chaîne	Oui	URL du lecteur Mes fichiers , du dossier, du fichier ou du lien de partage OneDrive for Business à partir duquel effectuer l’ingestion. L’URL doit utiliser un hôte personnel <tenant>-my.sharepoint.com. Pour plus d’informations sur le format de l’URL, consultez Lire des fichiers depuis OneDrive.
entity_type	Chaîne	Non	Le type d’entité à ingérer. Valeurs prises en charge : FILE (ingestion du contenu et des métadonnées des fichiers), et FILE_METADATA (ingestion des métadonnées uniquement, sans download du contenu des fichiers). La valeur default est FILE. Utilisez FILE_METADATA uniquement avec le format BINARYFILE.
file_ingestion_options	Objet	Oui	Contrôle le format de fichier et le comportement d’ingestion. Consultez file_ingestion_options parameter.

parameter	Type	Obligatoire	Description
url	Chaîne	Oui	URL du lecteur Mes fichiers , du dossier, du fichier ou du lien de partage OneDrive for Business à partir duquel effectuer l’ingestion. L’URL doit utiliser un hôte personnel <tenant>-my.sharepoint.com. Pour plus d’informations sur le format de l’URL, consultez Lire des fichiers depuis OneDrive.
entity_type	Chaîne	Non	Le type d’entité à ingérer. Valeurs prises en charge : FILE (ingestion du contenu et des métadonnées des fichiers), et FILE_METADATA (ingestion des métadonnées uniquement, sans download du contenu des fichiers). La valeur default est FILE. Utilisez FILE_METADATA uniquement avec le format BINARYFILE.
file_ingestion_options	Objet	Oui	Contrôle le format de fichier et le comportement d’ingestion. Consultez file_ingestion_options parameter.

file_ingestion_options parameters

Définissez ces options dans onedrive_options.file_ingestion_options.

parameter	Type	Obligatoire	Description
format	Chaîne	Oui	Format de fichier à ingérer. Valeurs prises en charge : BINARYFILE, CSV, JSON, XML, EXCEL, PARQUET, AVRO, ORC, FILE (Bêta). Utilisez BINARYFILE ou FILE pour l’ingestion de données non structurées (PDF, fichiers Office, images). Utilisez un format structuré pour analyser le contenu des fichiers en lignes. Les formats structurés s’appliquent uniquement lorsque entity_type est FILE. Lorsque entity_type est FILE_METADATA, utilisez BINARYFILE.
file_filters	Tableau d’objets	Non	Filtres limitant les fichiers ingérés. Chaque objet de filtre peut contenir l’une des clés suivantes : path_filter (string) : modèle glob mis en correspondance avec les noms ou chemins de fichiers. En fonction de filtre glob du chemin Spark. modified_before (string) : Un Timestamp au format YYYY-MM-DDTHH:mm:ss. Seuls les fichiers modifiés avant cette heure sont ingérés. modified_after (chaîne) : un Timestamp au format YYYY-MM-DDTHH:mm:ss. Seuls les fichiers modifiés après cette heure sont ingérés.
infer_column_types	Booléen	Non	Indique s’il faut déduire les types de données exacts pour les données structurées et semi-structurées. La valeur par default est true.
schema_evolution_mode	Chaîne	Non	Contrôle la manière dont les nouvelles colonnes des fichiers entrants sont gérées. Les modes correspondent aux modes d’évolution des schémas d’Auto Loader. Valeurs prises en charge : ADD_NEW_COLUMNS_WITH_TYPE_WIDENING (default), ADD_NEW_COLUMNS, RESCUE, FAIL_ON_NEW_COLUMNS, NONE. L’évolution des schémas s’applique uniquement à CSV, JSON, XML, PARQUET et AVRO. Pour les autres formats, définissez NONE. Consultez Comment fonctionne l’évolution des schémas d’Auto Loader ?.
schema_hints	Chaîne	Non	Remplace les types de colonnes déduits. Spécifiez une liste de paires column_name TYPE séparées par des virgules, par exemple order_id INT, amount DOUBLE. Consultez Remplacer l’inférence du schéma à l’aide d’indications de schéma.
ignore_corrupt_files	Booléen	Non	Indique s’il faut ignorer les fichiers corrompus lors de l’ingestion.
corrupt_record_column	Chaîne	Non	Colonne qui stocke les enregistrements malformés pour les formats prenant en charge une colonne d’enregistrements corrompus.
rescued_data_column	Chaîne	Non	La colonne qui stocke les données qui ne correspondent pas au schéma déduit ou fourni.
single_variant_column	Chaîne	Non	La colonne qui stocke l’intégralité d’un enregistrement d’entrée sous la forme d’une seule valeur VARIANT pour les formats prenant en charge cette option.
reader_case_sensitive	Booléen	Non	Indique si la mise en correspondance des colonnes respecte la casse lors de la récupération des données.
format_options	Objet	Non	Options d’analyse spécifiques au format. Les clés sont les noms standard des options de format d’Auto Loader. Voir les options de format.

parameter	Type	Obligatoire	Description
format	Chaîne	Oui	Format de fichier à ingérer. Valeurs prises en charge : BINARYFILE, CSV, JSON, XML, EXCEL, PARQUET, AVRO, ORC, FILE (Bêta). Utilisez BINARYFILE ou FILE pour l’ingestion de données non structurées (PDF, fichiers Office, images). Utilisez un format structuré pour analyser le contenu des fichiers en lignes. Les formats structurés s’appliquent uniquement lorsque entity_type est FILE. Lorsque entity_type est FILE_METADATA, utilisez BINARYFILE.
file_filters	Tableau d’objets	Non	Filtres limitant les fichiers ingérés. Chaque objet de filtre peut contenir l’une des clés suivantes : path_filter (string) : modèle glob mis en correspondance avec les noms ou chemins de fichiers. En fonction de filtre glob du chemin Spark. modified_before (string) : Un Timestamp au format YYYY-MM-DDTHH:mm:ss. Seuls les fichiers modifiés avant cette heure sont ingérés. modified_after (chaîne) : un Timestamp au format YYYY-MM-DDTHH:mm:ss. Seuls les fichiers modifiés après cette heure sont ingérés.
infer_column_types	Booléen	Non	Indique s’il faut déduire les types de données exacts pour les données structurées et semi-structurées. La valeur par default est true.
schema_evolution_mode	Chaîne	Non	Contrôle la manière dont les nouvelles colonnes des fichiers entrants sont gérées. Les modes correspondent aux modes d’évolution des schémas d’Auto Loader. Valeurs prises en charge : ADD_NEW_COLUMNS_WITH_TYPE_WIDENING (default), ADD_NEW_COLUMNS, RESCUE, FAIL_ON_NEW_COLUMNS, NONE. L’évolution des schémas s’applique uniquement à CSV, JSON, XML, PARQUET et AVRO. Pour les autres formats, définissez NONE. Consultez Comment fonctionne l’évolution des schémas d’Auto Loader ?.
schema_hints	Chaîne	Non	Remplace les types de colonnes déduits. Spécifiez une liste de paires column_name TYPE séparées par des virgules, par exemple order_id INT, amount DOUBLE. Consultez Remplacer l’inférence du schéma à l’aide d’indications de schéma.
ignore_corrupt_files	Booléen	Non	Indique s’il faut ignorer les fichiers corrompus lors de l’ingestion.
corrupt_record_column	Chaîne	Non	Colonne qui stocke les enregistrements malformés pour les formats prenant en charge une colonne d’enregistrements corrompus.
rescued_data_column	Chaîne	Non	La colonne qui stocke les données qui ne correspondent pas au schéma déduit ou fourni.
single_variant_column	Chaîne	Non	La colonne qui stocke l’intégralité d’un enregistrement d’entrée sous la forme d’une seule valeur VARIANT pour les formats prenant en charge cette option.
reader_case_sensitive	Booléen	Non	Indique si la mise en correspondance des colonnes respecte la casse lors de la récupération des données.
format_options	Objet	Non	Options d’analyse spécifiques au format. Les clés sont les noms standard des options de format d’Auto Loader. Voir les options de format.

table_configuration parameters

Définissez ces options dans le bloc table_configuration de chaque table de votre définition de pipeline. table_configuration est un élément frère de connector_options, et non un élément imbriqué à l’intérieur de celui-ci.

parameter	Type	Obligatoire	Description
storage_mode	Chaîne	Non	Mode de stockage de la table de destination. Valeurs prises en charge : SCD_TYPE_1 (default par défaut et seul mode pris en charge pour BINARYFILE et FILE) : remplace la ligne actuelle lorsqu’un fichier est modifié et supprime la ligne actuelle lorsqu’un fichier est supprimé. APPEND_ONLY (mode default et seul mode pris en charge pour les formats structurés) : ajoute les nouvelles lignes des fichiers nouveaux ou mis à jour. Puisqu’il s’agit des default et des seules valeurs prises en charge, il est facultatif de définir explicitement storage_mode. La définition de scd_type génère une erreur. Utilisez storage_mode à la place.

parameter	Type	Obligatoire	Description
storage_mode	Chaîne	Non	Mode de stockage de la table de destination. Valeurs prises en charge : SCD_TYPE_1 (default par défaut et seul mode pris en charge pour BINARYFILE et FILE) : remplace la ligne actuelle lorsqu’un fichier est modifié et supprime la ligne actuelle lorsqu’un fichier est supprimé. APPEND_ONLY (mode default et seul mode pris en charge pour les formats structurés) : ajoute les nouvelles lignes des fichiers nouveaux ou mis à jour. Puisqu’il s’agit des default et des seules valeurs prises en charge, il est facultatif de définir explicitement storage_mode. La définition de scd_type génère une erreur. Utilisez storage_mode à la place.

Options de formatage

Le bloc format_options accepte les clés standard des options de format d’Auto Loader pour le format sélectionné. Exprimez chaque valeur sous forme de chaîne. Par exemple :

JSON

"file_ingestion_options": {
  "format": "CSV",
  "format_options": {
    "header": "true",
    "sep": ","
  }
}

Pour connaître les noms et le comportement des options spécifiques au format, consultez les options de source de données Spark.

Format des données ingérées

Le schéma de la table de destination dépend de entity_type et de format que vous configurez.

FILE type d’entité avec le format BINARYFILE

Lorsque entity_type est FILE et que format est BINARYFILE, chaque fichier ingéré devient une ligne comportant les colonnes suivantes :

Champ	Type	Description
path	string	Le chemin d’accès au fichier.
modificationTime	timestamp	L’heure de la dernière modification du fichier.
length	bigint	La taille du fichier en octets.
content	binary	Contenu du fichier.
_file_id	string	Identifiant OneDrive unique du fichier.
_onedrive_metadata	struct	Contient les métadonnées propres à OneDrive du fichier. Consultez _onedrive_metadata champs.
_file_metadata	struct	Métadonnées de fichier standard ajoutées par Databricks lors de l’ingestion. Affichez _file_metadata champs.

Champ	Type	Description
path	string	Le chemin d’accès au fichier.
modificationTime	timestamp	L’heure de la dernière modification du fichier.
length	bigint	La taille du fichier en octets.
content	binary	Contenu du fichier.
_file_id	string	Identifiant OneDrive unique du fichier.
_onedrive_metadata	struct	Contient les métadonnées propres à OneDrive du fichier. Consultez _onedrive_metadata champs.
_file_metadata	struct	Métadonnées de fichier standard ajoutées par Databricks lors de l’ingestion. Affichez _file_metadata champs.

FILE type d’entité avec le format FILE

Lorsque entity_type est FILE et que format est FILE, chaque fichier ingéré devient une ligne comportant les colonnes suivantes :

Champ	Type	Description
path	string	Le chemin d’accès au fichier.
size	bigint	La taille du fichier en octets.
modification_time	timestamp	L’heure de la dernière modification du fichier.
file	FILE	Une référence gérée vers la copie du fichier source dans le volume Unity Catalog configuré.
_file_id	string	Identifiant OneDrive unique du fichier.
_onedrive_metadata	struct	Contient les métadonnées propres à OneDrive du fichier. Consultez _onedrive_metadata champs.
_file_metadata	struct	Métadonnées de fichier standard ajoutées par Databricks lors de l’ingestion. Affichez _file_metadata champs.

Champ	Type	Description
path	string	Le chemin d’accès au fichier.
size	bigint	La taille du fichier en octets.
modification_time	timestamp	L’heure de la dernière modification du fichier.
file	FILE	Une référence gérée vers la copie du fichier source dans le volume Unity Catalog configuré.
_file_id	string	Identifiant OneDrive unique du fichier.
_onedrive_metadata	struct	Contient les métadonnées propres à OneDrive du fichier. Consultez _onedrive_metadata champs.
_file_metadata	struct	Métadonnées de fichier standard ajoutées par Databricks lors de l’ingestion. Affichez _file_metadata champs.

FILE type d’entité au format structuré

Lorsque entity_type est FILE et que format est un format structuré (CSV, JSON, XML, EXCEL, PARQUET, AVRO ou ORC), le schéma de la table de destination correspond au schéma des fichiers source, ainsi qu’aux colonnes _onedrive_metadata et _file_metadata. Les colonnes sont déduites du contenu des fichiers, sous réserve des paramètres schema_evolution_mode et schema_hints.

Type d’entité FILE_METADATA

Lorsque entity_type a la valeur FILE_METADATA, le contenu du fichier n’est pas download. La table de destination contient uniquement les colonnes de métadonnées des structures _onedrive_metadata et _file_metadata décrites ci-dessus, ainsi que _file_id.

_onedrive_metadata champs

La structure _onedrive_metadata contient les champs suivants. Un champ peut être nul lorsque Microsoft Graph ne renvoie aucune valeur.

Champ	Type	Description
id	string	Identifiant OneDrive unique du fichier.
site_id	string	Identifiant du site SharePoint personnel auquel appartient le lecteur OneDrive.
drive_id	string	Identifiant du lecteur OneDrive.
drive_type	string	Type de lecteur OneDrive.
parent_id	string	L’identifiant du dossier parent.
parent_name	string	Nom du dossier parent.
parent_path	string	Le chemin du dossier parent.
web_url	string	Un Link vers le fichier dans OneDrive.
mime_type	string	Le type MIME du fichier.
created_by_email	string	L’adresse e-mail de l’utilisateur qui a créé le fichier.
created_by_name	string	Le nom de l’utilisateur qui a créé le fichier.
created_timestamp	timestamp	Date de création du fichier dans OneDrive.
last_modified_by_email	string	L’adresse e-mail du dernier utilisateur ayant modifié le fichier.
last_modified_by_name	string	Nom du dernier utilisateur ayant modifié le fichier.
etag	string	La balise d’entité du fichier.
ctag	string	La balise de contenu du fichier.
description	string	La description du fichier.
additional_metadata	variant	Métadonnées supplémentaires renvoyées par Microsoft Graph et non représentées par un autre champ.

Champ	Type	Description
id	string	Identifiant OneDrive unique du fichier.
site_id	string	Identifiant du site SharePoint personnel auquel appartient le lecteur OneDrive.
drive_id	string	Identifiant du lecteur OneDrive.
drive_type	string	Type de lecteur OneDrive.
parent_id	string	L’identifiant du dossier parent.
parent_name	string	Nom du dossier parent.
parent_path	string	Le chemin du dossier parent.
web_url	string	Un Link vers le fichier dans OneDrive.
mime_type	string	Le type MIME du fichier.
created_by_email	string	L’adresse e-mail de l’utilisateur qui a créé le fichier.
created_by_name	string	Le nom de l’utilisateur qui a créé le fichier.
created_timestamp	timestamp	Date de création du fichier dans OneDrive.
last_modified_by_email	string	L’adresse e-mail du dernier utilisateur ayant modifié le fichier.
last_modified_by_name	string	Nom du dernier utilisateur ayant modifié le fichier.
etag	string	La balise d’entité du fichier.
ctag	string	La balise de contenu du fichier.
description	string	La description du fichier.
additional_metadata	variant	Métadonnées supplémentaires renvoyées par Microsoft Graph et non représentées par un autre champ.

_file_metadata champs

La structure _file_metadata contient les métadonnées standard du fichier ajoutées par Databricks lors de l’ingestion :

Champ	Type	Description
file_path	string	Le chemin source du fichier.
file_name	string	Nom du fichier.
file_size	bigint	La taille du fichier en octets.
file_block_start	bigint	Le décalage de l’octet de start du bloc de fichier.
file_block_length	bigint	Longueur du bloc de fichier en octets.
file_modification_time	timestamp	L’heure de la dernière modification du fichier.

Champ	Type	Description
file_path	string	Le chemin source du fichier.
file_name	string	Nom du fichier.
file_size	bigint	La taille du fichier en octets.
file_block_start	bigint	Le décalage de l’octet de start du bloc de fichier.
file_block_length	bigint	Longueur du bloc de fichier en octets.
file_modification_time	timestamp	L’heure de la dernière modification du fichier.