Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.
Você pode criar código-fonte de pipeline Python em seu ambiente de desenvolvimento integrado (IDE) preferido, executá-lo localmente para teste e, em seguida, validar, implantar e executar atualizações em seu workspace do Databricks sem sair do seu ambiente local.
LakeFlow Pipelines são um superconjunto de Apache Spark™ Declarative Pipelines. O código que usa apenas APIs do Apache Spark Declarative Pipelines é executado tanto localmente quanto no Databricks, mas o código que usa recursos exclusivos dos LakeFlow Pipelines, como AUTO CDC e expectativas, é executado apenas no Databricks. Para as diferenças de recursos, consulte referência da linguagem Python dos LakeFlow Pipelines.
Para desenvolvimento interativo e teste no workspace do Databricks, use o Editor de Lakeflow Pipelines. Consulte Desenvolver e depurar pipelines ETL com o Editor de Lakeflow Pipelines.
Escrever código de pipeline com suporte de IDE
Escreva o código do pipeline usando o módulo pyspark.pipelines, importado como dp:
from pyspark import pipelines as dp
Como o módulo faz parte do Apache Spark, sua IDE oferece verificação de sintaxe, preenchimento automático e verificação de tipo enquanto você escreve. O código do Apache Spark Declarative Pipelines normalmente é executado sem modificações no Databricks. Executar o mesmo comando de importação em um LakeFlow Pipelines importa a versão do Databricks de pipelines. Para a referência completa do Python dos LakeFlow Pipelines, consulte Referência da linguagem Python dos LakeFlow Pipelines.
Separar a lógica de transformação para testes locais
A maneira mais eficaz de tornar o código do pipeline testável localmente é manter sua lógica de transformação em funções PySpark simples, separadas dos decoradores dp. Uma função que recebe um DataFrame e retorna um DataFrame não tem dependência do runtime dos LakeFlow Pipelines, então você pode testá-la unitariamente com pytest em sua máquina local, assim como qualquer outro código Apache Spark. Mantenha as funções decoradas simples, para que elas importem a lógica e a chamem:
# transformations/clean.py — pure PySpark, unit-testable on its own
def clean_orders(df):
return df.filter("quantity > 0").withColumn("amount_usd", df.amount.cast("double"))
# pipeline file — a thin dp wrapper that imports and calls the logic
from pyspark import pipelines as dp
from transformations.clean import clean_orders
@dp.table(name="orders_silver")
def orders_silver():
return clean_orders(spark.readStream.table("orders_bronze"))
Você pode empacotar a lógica compartilhada como um wheel para reutilizá-la em todos os pipelines. Para testar transformações de pipeline no editor de pipeline, consulte Testes unitários para pipelines.
Executar pipelines localmente para teste
Você também pode executar pipelines localmente para desenvolver e testar seu código antes de executá-lo no Databricks. Use a interface de linha de comando spark-pipelines para inicializar, validar e executar um pipeline com Apache Spark local. Consulte o Guia de Programação do Spark Declarative Pipelines na documentação do Apache Spark.
Um pipeline completo usa três camadas complementares de teste, e você pode exercitar duas delas localmente:
- Testes de unidade para a lógica de transformação, execução com
pytestem relação às funções PySpark simples descritas acima. Eles não requerem runtime de pipeline. - Validação (execução simulada) do gráfico do pipeline, do código-fonte e das referências de dataset, usando
spark-pipelineslocalmente oudatabricks pipelines dry-runno seu workspace, sem gravar dados. - Expectativas , que avaliam as regras de qualidade dos dados em cada linha de cada execução. Por serem um recurso de Runtime dos LakeFlow Pipelines, eles são executados apenas no Databricks, e não localmente. Consulte Gerenciar a qualidade dos dados com base nas expectativas do pipeline.
Não é possível executar ou testar funcionalidades específicas para LakeFlow Pipelines localmente. Isso inclui expectativas e funções AUTO CDC.
Executar pipelines no Databricks do seu ambiente local
Use o grupo de comandos databricks pipelines para validar, implantar e executar atualizações de pipeline em seu workspace, diretamente do seu terminal:
databricks pipelines init # scaffold a pipeline project
databricks pipelines dry-run # validate the pipeline graph without publishing data
databricks pipelines deploy # deploy the project to your workspace
databricks pipelines run # run an update
As atualizações de pipeline são executadas no seu workspace do Databricks, e não na sua máquina local, usando o compute configurado para o pipeline. Esses comandos são interoperáveis com comandos bundle do Pacotes de Automação Declarativa, portanto, você pode começar com um projeto simples e adotar a configuração de pacote e as práticas de CI/CD à medida que ele cresce. Para instalar e configurar a CLI, consulte Instalar ou atualizar a CLI do Databricks. Para a referência completa de comandos, consulte pipelines grupo de comandos. Para um passo a passo detalhado, consulte Desenvolver pipelines com Pacotes de Automação Declarativa.
Sincronize o código pipeline do seu IDE com um workspace
A tabela a seguir resume as opções para sincronizar o código-fonte pipeline entre seu IDE local e um workspace Databricks :
Ferramenta ou padrão | Detalhes |
|---|---|
CLI do Databricks (grupo de comandos | Use os comandos |
Pacotes de Automação Declarativa | Utilize pacotes de automação declarativa para implantar pipeline ativos com diferentes níveis de complexidade, desde um único arquivo de código-fonte até configurações para múltiplos pipelines, jobs e arquivos de código-fonte. Consulte Converter um pipeline em um projeto de pacote. |
Extensão de IDE do Databricks | O Databricks oferece uma integração com o Visual Studio Code que inclui sincronização fácil entre sua IDE local e os arquivos do workspace. Esta extensão também fornece ferramentas para usar Pacotes de Automação Declarativa para implantar ativos de pipelines. Consulte extensão de IDE do Databricks. |
arquivos de espaço de trabalho | Você pode usar os arquivos workspace Databricks para upload o código-fonte pipeline no seu workspace Databricks e depois importar esse código para um pipeline. Veja O que são arquivos workspace ?. |
Pastas Git | As pastas Git permitem sincronizar o código entre o seu ambiente local e workspace Databricks , usando um repositório Git como intermediário. Consulte as pastas Git do Databricks. |