Choisir une approche ETL sur Databricks
Databricks prend en charge plusieurs façons de créer des pipelines d’extraction, de transformation et de chargement (ETL). Databricks recommande les LakeFlow Pipelines, qui reposent sur les Pipelines déclaratifs Apache Spark™ (SDP), pour la plupart des charges de travail ETL. Si vous utilisez déjà dbt ou Spark, ces approches fonctionnent également sur Databricks.
Approches disponibles
Chaque approche diffère par la façon dont les transformations sont définies et par les responsables de la gestion des dépendances, du traitement incrémentiel et de l’orchestration. Pour en savoir plus sur les modèles déclaratifs et procéduraux qui sous-tendent ces approches, consultez Traitement procédural ou déclaratif des données dans Databricks.
Approche | Fonctionnement | Quand l'utiliser | Constructions clés | Démarrer |
|---|---|---|---|---|
LakeFlow Pipelines (SDP) | Vous déclarez les tables et les transformations, et le moteur de pipeline gère les dépendances, le traitement incrémentiel et l'orchestration. | Nouvelles charges de travail ETL par batch et incrémentielles. | tables de streaming, vues matérialisées, flux, | |
dbt sur Databricks | Exécute vos modèles dbt existants sur le compute Databricks. | Votre équipe gère déjà un projet dbt. | modèles dbt, tâches dbt dans Lakeflow Jobs | Tutoriel : Créer, exécuter et tester des modèles dbt localement |
Notebooks et jobs Spark | Exécute le code Spark que vous écrivez dans des notebooks ou des scripts et que vous orchestrez avec Lakeflow Jobs. | Logique de transformation complexe que vous souhaitez exprimer directement dans Spark. | Spark DataFrames, notebooks, Lakeflow Jobs | |
Procédures stockées | Encapsule une logique SQL procédurale qui s'exécute sur un SQL Warehouse. | SQL procédural que vous souhaitez package et réutiliser. |
|