Referência do desenvolvedor de pipeline declarativoLakeFlow

Esta seção contém referências e instruções para desenvolvedores de pipeline declarativo LakeFlow .

O carregamento de dados e as transformações são implementados no pipeline declarativo LakeFlow por meio de consultas que definem tabelas de transmissão e visualizações materializadas. Para implementar essas consultas, o pipeline declarativo LakeFlow oferece suporte às interfaces SQL e Python . Como essas interfaces fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, os desenvolvedores de pipeline podem escolher a interface com a qual se sentem mais confortáveis.

Desenvolvimento Python

Crie um pipeline declarativo LakeFlow usando código Python .

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento do pipeline declarativo LakeFlow em Python.
Referência da linguagem Python do pipeline declarativo LakeFlow	Documentação de referência do Python para o módulo pipelines .
gerenciar dependências Python para pipeline declarativo LakeFlow	Instruções para gerenciar biblioteca Python com o pipeline declarativo LakeFlow .
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar módulos Python que você armazenou no Databricks.

Desenvolvimento SQL

Crie um pipeline declarativo LakeFlow usando código SQL .

tópico	Descrição
Desenvolver código de pipeline com SQL	Uma visão geral do desenvolvimento do pipeline declarativo LakeFlow em SQL.
Referência de linguagem SQL do pipeline declarativo LakeFlow	Documentação de referência para sintaxe SQL para pipeline declarativo LakeFlow .
Use o pipeline declarativo LakeFlow no Databricks SQL	Use Databricks SQL para trabalhar com o pipeline declarativo LakeFlow .

Outros tópicos de desenvolvimento

Os tópicos a seguir descrevem outras maneiras de desenvolver o pipeline declarativo LakeFlow .

tópico	Descrição
Converter o pipeline declarativo LakeFlow em um projeto Databricks ativo Bundle	Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Crie um pipeline declarativo LakeFlow com dlt-meta	Use a biblioteca código aberto dlt-meta para automatizar a criação do pipeline declarativo LakeFlow com uma estrutura orientada por metadados.
Desenvolva o código do pipeline declarativo LakeFlow em seu ambiente de desenvolvimento local	Uma visão geral das opções para desenvolver código de pipeline declarativo LakeFlow localmente.