Présentation de la configuration de l'ingestion Google Drive

Le connecteur Google Drive géré dans Lakeflow Connect ingère des fichiers non structurés (tels que des PDF et des documents Google) et des formats structurés (tels que CSV, JSON et Excel) dans des tables Delta, et prend en charge trois méthodes d'authentification. Pour les pipelines personnalisés qui utilisent des API Spark et SQL avec un contrôle complet de l'analyse syntaxique et des transformations, consultez la section Ingérer des fichiers à partir de Google Drive.

Choisissez votre connecteur Google Drive

Lakeflow Connect propose deux connecteurs Google Drive. Ils accèdent tous deux aux données de Google Drive, mais leur niveau de gestion diffère.

Connecteur	Description
Connecteur Google Drive géré	Un connecteur entièrement managé et à maintenance réduite pour les applications d’entreprise, qui ingère des données dans des tables Delta et les maintient synchronisées avec la source.
Connecteur Google Drive standard	Créez des pipelines d'ingestion personnalisés avec SQL, PySpark ou Lakeflow pipelines à l'aide d'APIs de traitement par batch et en streaming telles que read_files, spark.read, COPY INTO et Auto Loader. Offre la flexibilité d'effectuer des transformations complexes lors de l'ingestion, tout en vous conférant une plus grande responsabilité dans la gestion et la maintenance de vos pipelines.

Connecteur	Description
Connecteur Google Drive géré	Un connecteur entièrement managé et à maintenance réduite pour les applications d’entreprise, qui ingère des données dans des tables Delta et les maintient synchronisées avec la source.
Connecteur Google Drive standard	Créez des pipelines d'ingestion personnalisés avec SQL, PySpark ou Lakeflow pipelines à l'aide d'APIs de traitement par batch et en streaming telles que read_files, spark.read, COPY INTO et Auto Loader. Offre la flexibilité d'effectuer des transformations complexes lors de l'ingestion, tout en vous conférant une plus grande responsabilité dans la gestion et la maintenance de vos pipelines.

Quelle méthode d’authentification dois-je choisir ?

Le connecteur Google Drive géré prend en charge les méthodes d’authentification suivantes :

• OAuth U2M: Databricks-managed

  • Aucun projet Google Cloud ou enregistrement d'application requis.

• OAuth U2M : Custom-managed

  • Apportez votre propre application Google Cloud. À utiliser lorsque votre organisation exige le contrôle de la propriété des applications ou de la limitation de débit de l'API.

• OAuth service account

  • S'authentifie en tant que compte de service Google plutôt qu'en tant qu'individu.

Les deux méthodes OAuth U2M s'authentifient en tant que compte Google individuel. Le connecteur n'ingère donc que les fichiers auxquels ce compte a accès. Pour ingérer du contenu qui n'est pas lié au compte d'une seule personne, utilisez un compte de service OAuth.

Si l’option OAuth U2M: Databricks-managed n’apparaît pas dans votre workspace, utilisez OAuth U2M: Custom-managed .