Referência para desenvolvedores de pipelines

Implemente o carregamento de dados e as transformações em LakeFlow Spark Declarative Pipelines por meio de consultas que definem tabelas de transmissão e visualizações materializadas. Lakeflow Spark Declarative Pipelines suporta tanto interfaces SQL quanto Python. Uma vez que fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, você pode escolher a interface com a qual se sentir mais confortável. Para ajudar a decidir, consulte Escolha entre SQL e Python.

Desenvolvimento Python

Criar pipeline usando código Python .

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento de pipelines em Python.
LakeFlow Spark Pipeline declarativo Referência da linguagem Python	Documentação de referência do Python para o módulo pipelines .
Gerenciou as dependências Python para o pipeline.	Instruções para gerenciar a biblioteca Python em um pipeline.
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar módulos Python que você armazenou no Databricks.

Desenvolvimento SQL

Criar pipeline usando código SQL .

tópico	Descrição
Desenvolva código de pipeline declarativo LakeFlow Spark com SQL	Uma visão geral do desenvolvimento de pipelines em SQL.
Referência da linguagem SQL de pipeline	Documentação de referência para a sintaxe SQL do pipeline declarativo LakeFlow Spark .
Pipeline independente	Utilize Databricks SQL para trabalhar com pipelines.

Outros tópicos de desenvolvimento

Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.

tópico	Descrição
Converter um pipeline em um projeto de pacote	Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Metaprogramação com LakeFlow e pipeline declarativo Spark	Criar pipeline com dlt-meta. Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada a metadados. Tutorial: Crie vários fluxos com parâmetros diferentes. Criar múltiplos fluxos em um loop em Python.
Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.	Uma visão geral das opções para o desenvolvimento local de um oleoduto.