Referência para desenvolvedores de pipelines

Esta seção contém referências e instruções para desenvolvedores pipeline .

O carregamento e as transformações de dados são implementados em pipeline por meio de consultas que definem tabelas de transmissão e visões materializadas. Para implementar essas consultas, o pipeline declarativo LakeFlow Spark oferece suporte a interfaces SQL e Python . Como essas interfaces oferecem funcionalidades equivalentes para a maioria dos casos de uso de processamento de dados, os desenvolvedores pipeline podem escolher a interface com a qual se sentem mais confortáveis.

Desenvolvimento Python

Criar pipeline usando código Python .

tópico	Descrição
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento de pipelines em Python.
LakeFlow Spark Pipeline declarativo Referência da linguagem Python	Documentação de referência do Python para o módulo pipelines .
Gerenciou as dependências Python para o pipeline.	Instruções para gerenciar a biblioteca Python em um pipeline.
Importar módulos Python de pastas Git ou arquivos workspace	Instruções para usar módulos Python que você armazenou no Databricks.

Desenvolvimento SQL

Criar pipeline usando código SQL .

tópico	Descrição
Desenvolver código de pipeline com SQL	Uma visão geral do desenvolvimento de pipelines em SQL.
Referência da linguagem SQL de pipeline	Documentação de referência para a sintaxe SQL do pipeline declarativo LakeFlow Spark .
Utilizar pipeline no Databricks SQL	Utilize Databricks SQL para trabalhar com pipelines.

Outros tópicos de desenvolvimento

Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.

tópico	Descrição
Converter um pipeline em um projeto Databricks ativo Bundle	Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Criar pipeline com dlt-meta	Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada a metadados.
Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.	Uma visão geral das opções para o desenvolvimento local de um oleoduto.