LakeFlow Referência do desenvolvedor do pipeline declarativo

Esta seção contém referências e instruções para os desenvolvedores do pipeline LakeFlow Declarative.

O carregamento e as transformações de dados são implementados no pipeline LakeFlow Declarative por meio de consultas que definem tabelas de transmissão e visualizações materializadas. Para implementar essas consultas, o pipeline declarativo LakeFlow oferece suporte às interfaces SQL e Python. Como essas interfaces oferecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, os desenvolvedores de pipeline podem escolher a interface com a qual se sentem mais confortáveis.

Desenvolvimento em Python

Crie o pipeline declarativo LakeFlow usando o código Python.

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento do LakeFlow Pipeline declarativo em Python.
LakeFlow Pipeline declarativo Python language reference	Documentação de referência do Python para o módulo dlt.
Gerenciar as dependências do Python para o pipeline declarativo do LakeFlow	Instruções para gerenciar Python biblioteca com LakeFlow Declarative pipeline.
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar os módulos Python que o senhor armazenou na Databricks.

Desenvolvimento de SQL

Crie o pipeline declarativo LakeFlow usando o código SQL.

tópico	Descrição
Desenvolver código de pipeline com SQL	Uma visão geral do desenvolvimento do LakeFlow Pipeline declarativo em SQL.
LakeFlow Pipeline declarativo SQL language reference	Documentação de referência para a sintaxe SQL para o pipeline declarativo LakeFlow.
Use LakeFlow Declarative pipeline em Databricks SQL	Use Databricks SQL para trabalhar com o pipeline declarativo LakeFlow.

Outros tópicos de desenvolvimento

Os tópicos a seguir descrevem outras maneiras de desenvolver o pipeline LakeFlow Declarative.

tópico	Descrição
Converter o pipeline declarativo LakeFlow em um projeto de pacote ativo Databricks	Converta um pipeline existente em um pacote, o que lhe permite gerenciar a configuração do processamento de dados em um arquivo YAML controlado pela fonte para facilitar a manutenção e as implementações automatizadas em ambientes de destino.
Crie o pipeline declarativo LakeFlow com dlt-meta	Use o código aberto dlt-meta biblioteca para automatizar a criação de LakeFlow Pipeline declarativo com uma estrutura orientada por metadados.
Desenvolva o código do pipeline declarativo LakeFlow em seu ambiente de desenvolvimento local	Uma visão geral das opções para desenvolver localmente o código do pipeline LakeFlow Declarative.