Pipelines autônomos x. Lakeflow pipelines

O Databricks oferece duas maneiras de criar visualizações materializadas e tabelas de transmissão: pipelines autônomos ou LakeFlow Pipelines. Ambos são executados no mesmo mecanismo declarativo e produzem tabelas gerenciadas do Unity Catalog. A diferença é o quanto do pipeline você cria e opera.

• A standalone materialized view or transmissão table is a single dataset. Databricks creates and manages a pipeline behind the scenes to refresh it. You create and refresh standalone datasets with SQL from a Databricks SQL warehouse, or from a notebook on serverless general compute with either spark.sql() or the Python pipelines decorators. See Standalone pipelines.
• A Lakeflow pipeline é um pipeline que você cria e opera como uma unidade. Ele pode conter muitos datasets, em SQL e Python, com orquestração de dependências, linhagem e recursos operacionais em todo o pipeline. Consulte O que são pipelines?.

Quando você cria uma view materializada autônoma ou tabela de transmissão, o pipeline gerenciado aparece na página **Jobs & Pipelines** com um tipo de pipeline MV/ST de. Datasets definidos em um Lakeflow pipeline têm um tipo de pipeline de ETL.

Quando usar um pipeline autônomo

Use views materializadas e tabelas de transmissão autônomas quando:

• Você acelera consultas ou transforma dados com uma única view materializada ou tabela de transmissão.
• Você trabalha a partir de um Databricks SQL warehouse, do editor SQL ou de um Notebook em compute serverless geral, e programa os refreshes com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL em um Job.
• Não são necessários coletores, orquestração em várias etapas ou outros recursos exclusivos do pipeline.

Quando usar um Lakeflow pipeline

Use uma LakeFlow Pipelines quando:

• Você cria um pipeline de múltiplos estágios com datasets intermediários, onde o Databricks gerencia dependências e linhagem entre os datasets. Datasets intermediários podem ser publicados no catálogo ou mantidos privados do pipeline.
• É possível criar tabelas e fluxos em Python.
• Você grava em tabelas Delta externas ou destinos de transmissão de eventos usando coletores (create_sink() ou foreach_batch_sink()).
• É possível aplicar a captura de dados de alterações (CDC) de um Snapshot de banco de dados usando create_auto_cdc_from_snapshot_flow().
• Você deseja execução acionada ou contínua em todo o pipeline.

Comparação

Propriedade	Tabela de transmissão autônoma ou view materializada	Tabela de transmissão ou view materializada de pipeline
Interface de autoria	Sintaxe SQL, de um warehouse Databricks SQL ou com spark.sql() em um notebook no compute geral serverless. Em um notebook, você também pode definir o dataset em Python com os decoradores @materialized_view e @table	SQL e Python
Escopo	Um dataset, em um pipeline que o Databricks gerencia para você.	Muitos datasets em um pipeline, com orquestração de dependência e linhagem
Execução	Acionado, com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL	Acionado ou contínuo
Recursos exclusivos do pipeline		Sinks, create_auto_cdc_from_snapshot_flow(), conjuntos de dados privados
Rótulo de tipo de pipeline	MV/ST	ETL
Mover entre pipelines	Não suportado; recrie a tabela no pipeline de destino.	Suportado

Propriedade	Tabela de transmissão autônoma ou view materializada	Tabela de transmissão ou view materializada de pipeline
Interface de autoria	Sintaxe SQL, de um warehouse Databricks SQL ou com spark.sql() em um notebook no compute geral serverless. Em um notebook, você também pode definir o dataset em Python com os decoradores @materialized_view e @table	SQL e Python
Escopo	Um dataset, em um pipeline que o Databricks gerencia para você.	Muitos datasets em um pipeline, com orquestração de dependência e linhagem
Execução	Acionado, com SCHEDULE, TRIGGER ON UPDATE ou uma tarefa SQL	Acionado ou contínuo
Recursos exclusivos do pipeline		Sinks, create_auto_cdc_from_snapshot_flow(), conjuntos de dados privados
Rótulo de tipo de pipeline	MV/ST	ETL
Mover entre pipelines	Não suportado; recrie a tabela no pipeline de destino.	Suportado