Pipelines autônomos x. Lakeflow pipelines

O Databricks oferece duas formas de criar visualizações materializadas e tabelas de streaming: pipelines autônomos ou LakeFlow Pipelines. Ambos são baseados em Pipelines Declarativos do Apache Spark™ e produzem tabelas gerenciadas pelo Unity Catalog. A diferença está em quanto do pipeline você autor e opera.

• Uma view materializada ou tabela de transmissão autônoma é um único dataset. O Databricks cria e gerencia um pipeline nos bastidores para refresh. Você cria e refresh datasets autônomos com SQL a partir de um Databricks SQL warehouse ou de um Notebook em compute geral serverless com spark.sql() ou os decoradores de pipeline Python. Consulte Views materializadas e tabelas de transmissão autônomas.
• A Lakeflow pipeline é um pipeline que você cria e opera como uma unidade. Ele pode conter muitos datasets, em SQL e Python, com orquestração de dependências, linhagem e recursos operacionais em todo o pipeline. Consulte O que são pipelines?.

Quando você cria uma view materializada autônoma ou tabela de transmissão, o pipeline gerenciado aparece na página **Jobs & Pipelines** com um tipo de pipeline MV/ST de. Datasets definidos em um Lakeflow pipeline têm um tipo de pipeline de ETL.

Quando usar um pipeline autônomo

Use views materializadas e tabelas de transmissão autônomas quando:

• Você acelera consultas ou transforma dados com uma única view materializada ou tabela de transmissão.
• Você trabalha a partir de um Databricks SQL warehouse, do editor SQL ou de um Notebook em compute serverless geral, e programa os refreshes com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL em um Job.
• Não são necessários coletores, orquestração em várias etapas ou outros recursos exclusivos do pipeline.

Quando usar um Lakeflow pipeline

Use uma LakeFlow Pipelines quando:

• Você cria um pipeline de múltiplos estágios com datasets intermediários, onde o Databricks gerencia dependências e linhagem entre os datasets. Datasets intermediários podem ser publicados no catálogo ou mantidos privados do pipeline.
• É possível criar tabelas e fluxos em Python.
• Você grava em tabelas Delta externas ou destinos de transmissão de eventos usando coletores (create_sink() ou foreach_batch_sink()).
• É possível aplicar a captura de dados de alterações (CDC) de um Snapshot de banco de dados usando create_auto_cdc_from_snapshot_flow().
• Você deseja execução acionada ou contínua em todo o pipeline.

Comparação

Propriedade	Tabela de transmissão autônoma ou view materializada	Tabela de transmissão ou view materializada de pipeline
Interface de autoria	Sintaxe SQL, de um warehouse Databricks SQL ou com spark.sql() em um notebook no compute geral serverless. Em um notebook, você também pode definir o dataset em Python com os decoradores @materialized_view e @table	SQL e Python
Escopo	Um dataset, em um pipeline que o Databricks gerencia para você.	Muitos datasets em um pipeline, com orquestração de dependência e linhagem
Execução	Acionado, com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL	Acionado ou contínuo
Recursos exclusivos do pipeline		Sinks, create_auto_cdc_from_snapshot_flow(), conjuntos de dados privados
Rótulo de tipo de pipeline	MV/ST	ETL
Mover entre pipelines	Não suportado; recrie a tabela no pipeline de destino.	Suportado

Propriedade	Tabela de transmissão autônoma ou view materializada	Tabela de transmissão ou view materializada de pipeline
Interface de autoria	Sintaxe SQL, de um warehouse Databricks SQL ou com spark.sql() em um notebook no compute geral serverless. Em um notebook, você também pode definir o dataset em Python com os decoradores @materialized_view e @table	SQL e Python
Escopo	Um dataset, em um pipeline que o Databricks gerencia para você.	Muitos datasets em um pipeline, com orquestração de dependência e linhagem
Execução	Acionado, com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL	Acionado ou contínuo
Recursos exclusivos do pipeline		Sinks, create_auto_cdc_from_snapshot_flow(), conjuntos de dados privados
Rótulo de tipo de pipeline	MV/ST	ETL
Mover entre pipelines	Não suportado; recrie a tabela no pipeline de destino.	Suportado