Referência para desenvolvedores de pipelines

Implemente o carregamento de dados e as transformações em Lakeflow Pipelines com queries que definem tabelas de transmissão e visualizações materializadas. LakeFlow Pipelines são compatíveis com interfaces SQL e Python. Como eles fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, é possível escolher a interface com a qual se sentir mais confortável. Para ajudar a decidir, consulte Escolha entre SQL e Python.

Desenvolvimento Python

Criar pipeline usando código Python .

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento de pipelines em Python.
Referência da linguagem Python para Lakeflow pipelines	Documentação de referência do Python para o módulo pipelines .
Gerenciou as dependências Python para o pipeline.	Instruções para gerenciar a biblioteca Python em um pipeline.
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar módulos Python que você armazenou no Databricks.

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento de pipelines em Python.
Referência da linguagem Python para Lakeflow pipelines	Documentação de referência do Python para o módulo pipelines .
Gerenciou as dependências Python para o pipeline.	Instruções para gerenciar a biblioteca Python em um pipeline.
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar módulos Python que você armazenou no Databricks.

Desenvolvimento SQL

Criar pipeline usando código SQL .

tópico	Descrição
Desenvolva o código dos Lakeflow pipelines com SQL	Uma visão geral do desenvolvimento de pipelines em SQL.
Referência da linguagem SQL de pipeline	Documentação de referência para a sintaxe SQL para LakeFlow Pipelines.
Pipeline independente	Utilize Databricks SQL para trabalhar com pipelines.

tópico	Descrição
Desenvolva o código dos Lakeflow pipelines com SQL	Uma visão geral do desenvolvimento de pipelines em SQL.
Referência da linguagem SQL de pipeline	Documentação de referência para a sintaxe SQL para LakeFlow Pipelines.
Pipeline independente	Utilize Databricks SQL para trabalhar com pipelines.

Outros tópicos de desenvolvimento

Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.

tópico	Descrição
Converter um pipeline em um projeto de pacote	Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Metaprogramação com LakeFlow Pipelines	Criar pipeline com dlt-meta. Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada a metadados. Tutorial: Crie vários fluxos com parâmetros diferentes. Criar múltiplos fluxos em um loop em Python.
Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.	Uma visão geral das opções para o desenvolvimento local de um oleoduto.

tópico	Descrição
Converter um pipeline em um projeto de pacote	Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Metaprogramação com LakeFlow Pipelines	Criar pipeline com dlt-meta. Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada a metadados. Tutorial: Crie vários fluxos com parâmetros diferentes. Criar múltiplos fluxos em um loop em Python.
Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.	Uma visão geral das opções para o desenvolvimento local de um oleoduto.