Connecteurs de fichiers

Databricks Lakeflow Connect dispose de connecteurs pour l’ingestion de fichiers à partir du stockage d’objets cloud et des services de stockage de fichiers d’entreprise. Choisissez des connecteurs gérés pour un service d’ingestion basé sur la configuration, ou des connecteurs standard basés sur les API Spark et SQL pour une plus large gamme de sources de fichiers et un contrôle plus précis.

Connecteurs de fichiers gérés

Les connecteurs de fichiers gérés prennent en charge l’authentification pour chaque source, les lectures incrémentielles et les tentatives automatiques pour vous :

• • Google Drive
  • Ingérez des fichiers de Google Drive dans le Lakehouse à l'aide de l'ingestion de fichiers source gérée.
• • Microsoft SharePoint
  • Ingérez des fichiers à partir de sites Microsoft SharePoint à l'aide de l'ingestion de sources de fichiers gérées.

Connecteurs de fichiers standard

Les connecteurs de fichiers standard utilisent les API Spark et SQL, vous offrant un meilleur contrôle sur la façon dont les fichiers sont lus et traités :

• • Stockage d'objets cloud
  • Ingérez des fichiers depuis S3, ADLS ou GCS à l’aide d’Auto Loader ou de COPY INTO.
• • Serveurs SFTP
  • Ingérer des fichiers depuis des serveurs SFTP.
• • Google Drive
  • Ingérez des fichiers depuis Google Drive à l’aide des API de lecture Spark.
• • SharePoint
  • Ingérez des fichiers depuis SharePoint à l’aide des API de lecteur Spark.

Composants de connecteur

Un connecteur de source de fichiers comprend les composants suivants :

Composant	Description
Connexion	Un objet sécurisable de Unity Catalog qui stocke les détails d'authentification pour le service de stockage de fichiers.
pipeline d'ingestion	Un pipeline qui copie les fichiers de la source vers les tables de destination. Le pipeline d'ingestion s'exécute sur un compute serverless.
Tables de destination	Les tables où le pipeline d'ingestion écrit les données. Ce sont des tables de streaming, qui sont des tables Delta avec un support supplémentaire pour le traitement incémentiel des données.

Composant	Description
Connexion	Un objet sécurisable de Unity Catalog qui stocke les détails d'authentification pour le service de stockage de fichiers.
pipeline d'ingestion	Un pipeline qui copie les fichiers de la source vers les tables de destination. Le pipeline d'ingestion s'exécute sur un compute serverless.
Tables de destination	Les tables où le pipeline d'ingestion écrit les données. Ce sont des tables de streaming, qui sont des tables Delta avec un support supplémentaire pour le traitement incémentiel des données.