Desenvolva o código do pipeline declarativo LakeFlow em seu ambiente de desenvolvimento local

Você pode criar o código-fonte do pipeline Python no seu ambiente de desenvolvimento integrado (IDE) preferido.

Não é possível validar ou executar atualizações no código do pipeline declarativo LakeFlow escrito em um IDE. Você deve implantar os arquivos de código-fonte de volta em um workspace Databricks e configurá-los como parte do pipeline declarativo LakeFlow .

Este artigo fornece uma visão geral do suporte ao desenvolvimento de IDE local. Para desenvolvimento e testes mais interativos, Databricks recomenda usar o LakeFlow Pipelines Editor. Consulte Desenvolver e depurar pipeline ETL com o LakeFlow Pipelines Editor.

Configurar um IDE local para desenvolvimento de pipeline

O Databricks fornece um módulo Python para desenvolvimento local distribuído pelo PyPI. Para obter instruções de instalação e uso, consulte o stubPython para o pipeline declarativo LakeFlow.

Este módulo tem as interfaces e referências de docstring para a interface Python do pipeline declarativo LakeFlow , fornecendo verificação de sintaxe, preenchimento automático e verificação de tipo de dados enquanto você escreve o código no seu IDE.

Este módulo inclui interfaces, mas nenhuma implementação funcional. Você não pode usar esta biblioteca para criar ou executar o pipeline declarativo LakeFlow localmente.

Você pode usar Databricks ativo Bundles para empacotar e distribuir código-fonte e configurações para um workspace de destino e para acionar a execução de uma atualização em um pipeline configurado dessa maneira. Consulte Converter pipeline declarativo LakeFlow em um projeto de pacote ativo Databricks.

A extensão Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipeline usando Databricks ativo Bundles. Veja Bundle recurso Explorer.

Sincronize o código pipeline do seu IDE com um workspace

A tabela a seguir resume as opções para sincronizar o código-fonte pipeline entre seu IDE local e um workspace Databricks :

Ferramenta ou padrão	Detalhes
Databricks Asset Bundles	Use os pacotes ativo Databricks para desenvolver pipeline ativos que variam em complexidade, desde um único arquivo de código-fonte até configurações para vários pipelines, trabalhos e arquivos de código-fonte. Consulte Converter pipeline declarativo LakeFlow em um projeto de pacote ativo Databricks.
Extensão do Databricks para Visual Studio Code	Databricks fornece uma integração com o Visual Studio Code que inclui sincronização fácil entre seu IDE local e arquivos workspace . Esta extensão também fornece ferramentas para usar Databricks ativo Bundles para implantar pipeline ativo. Veja O que é a extensão Databricks para o Visual Studio Code?.
arquivos de espaço de trabalho	Você pode usar os arquivos workspace Databricks para upload o código-fonte pipeline no seu workspace Databricks e depois importar esse código para um pipeline. Veja O que são arquivos workspace ?.
Pastas Git	As pastas Git permitem que você sincronize o código entre seu ambiente local e workspace Databricks usando um repositório Git como intermediário. Veja o que são pastas Git do Databricks.