Escolha uma abordagem de ETL no Databricks
O Databricks oferece compatibilidade com várias formas de criar pipelines de extração, transformação e carregamento (ETL). O Databricks recomenda LakeFlow Pipelines, baseados em Pipelines Declarativos do Apache Spark™ (SDP), para a maioria das cargas de trabalho de ETL. Se você já usa dbt ou Spark, essas abordagens também funcionam no Databricks.
Abordagens disponíveis
Cada abordagem difere na forma como você define transformações e quem gerencia dependências, processamento incremental e orquestração. Para obter contexto sobre os modelos declarativos e procedimentais por trás dessas abordagens, consulte Processamento de dados procedimental vs. declarativo no Databricks.
Abordagem | O que faz | Quando usar | key construções | Introdução |
|---|---|---|---|---|
LakeFlow Pipelines (SDP) | Você declara as tabelas e transformações, e o mecanismo de pipeline gerencia as dependências, o processamento incremental e a orquestração. | Novas cargas de trabalho ETL incrementais e de lote. | tabelas de transmissão, views materializadas, fluxos, | |
dbt no Databricks | Executa seus modelos dbt existentes no compute do Databricks. | Sua equipe já mantém um projeto dbt. | modelos dbt, tarefas dbt em Lakeflow Jobs | |
Notebooks e jobs Spark | Executa códigos Spark escritos em notebooks ou scripts e orquestrados com o Lakeflow Jobs. | Lógica de transformação complexa que você deseja expressar diretamente no Spark. | Spark DataFrames, notebooks, Lakeflow Jobs | |
Procedimentos armazenados | Encapsula a lógica SQL processual que está em execução em um SQL warehouse. | SQL procedimental que você deseja pacote e reutilizar. |
|