Pipeline independente
O pipeline declarativo LakeFlow Spark é a maneira mais comum de trabalhar com dados em um pipeline. Você também pode definir visualizações materializadas independentes e tabelas de transmissão fora do pipeline declarativo LakeFlow Spark usando uma sintaxe de consulta simples, e Databricks gerencia o pipeline subjacente para você. Tabelas independentes podem ser criadas e atualizadas a partir de um data warehouse Databricks SQL ou de um Notebook executado em compute geral serverless .
Para decidir entre tabelas autônomas e um pipeline completo do Lakeflow Spark Declarative Pipelines, consulte Pipelines autônomos vs. Lakeflow Spark Declarative Pipelines.
Esta seção era anteriormente chamada de "pipeline para Databricks SQL ". Foi renomeado para "Pipeline independente" para refletir o novo suporte para a criação de visualizações materializadas independentes e tabelas de transmissão a partir de um Notebook executado em compute geral serverless , além de um data warehouse Databricks SQL .
Esta seção ensina como usar um pipeline independente, incluindo os seguintes tópicos.
tópico | Descrição |
|---|---|
Saiba mais sobre as opções compute para tabelas de visualização materializada e transmissão independentes, incluindo suporte a recursos e disponibilidade regional. | |
Crie, refresh, configure e monitore tabelas de transmissão. | |
Criar, refresh e consultar visualizações materializadas. |
Para criar e refresh views materializadas autônomas e tabelas de transmissão com Python a partir de um Notebook, consulte Usar Python com pipelines autônomos.