Pipeline independente
Lakeflow pipelines são a forma mais comum de trabalhar com dados em pipelines. Você também pode definir views materializadas autônomas e tabelas de transmissão fora de um pipeline LakeFlow usando sintaxe de query simples, e o Databricks gerencia os pipelines subjacentes para você. As tabelas autônomas podem ser criadas e atualizadas a partir de um warehouse SQL do Databricks ou de um Notebook em execução em compute geral Serverless.
Para decidir entre tabelas autônomas e um pipeline do LakeFlow, consulte Pipelines autônomos vs. LakeFlow Pipelines.
Esta seção era anteriormente chamada de "pipeline para Databricks SQL ". Foi renomeado para "Pipeline independente" para refletir o novo suporte para a criação de visualizações materializadas independentes e tabelas de transmissão a partir de um Notebook executado em compute geral serverless , além de um data warehouse Databricks SQL .
Esta seção ensina como usar um pipeline independente, incluindo os seguintes tópicos.
tópico | Descrição |
|---|---|
Saiba mais sobre as opções compute para tabelas de visualização materializada e transmissão independentes, incluindo suporte a recursos e disponibilidade regional. | |
Crie, refresh, configure e monitore tabelas de transmissão. | |
Criar, refresh e consultar visualizações materializadas. |
Para criar e refresh views materializadas autônomas e tabelas de transmissão com Python a partir de um Notebook, consulte Usar Python com pipelines autônomos.