Desenvolva o código do pipeline em seu ambiente de desenvolvimento local.
Você pode criar o código-fonte do pipeline Python no seu ambiente de desenvolvimento integrado (IDE) preferido.
Não é possível validar ou executar atualizações em código pipeline escrito em uma IDE. Você deve implantar os arquivos de código-fonte de volta em um workspace Databricks e configurá-los como parte de um pipeline.
Este artigo fornece uma visão geral do suporte ao desenvolvimento de IDE local. Para desenvolvimento e testes mais interativos, Databricks recomenda usar o LakeFlow Pipelines Editor. Consulte Desenvolver e depurar pipeline ETL com o LakeFlow Pipelines Editor.
Configurar um IDE local para desenvolvimento de pipeline
O Databricks fornece um módulo Python para desenvolvimento local, distribuído através do PyPI. Para instruções de instalação e uso, consulte o stub Python para DLT.
Este módulo contém as interfaces e referências de docstring para a interface Python de pipeline, fornecendo verificação de sintaxe, autocompletar e verificação de tipo de dados enquanto você escreve o código em sua IDE.
Este módulo inclui interfaces, mas não implementações funcionais. Você não pode usar esta biblioteca para criar ou executar um pipeline localmente.
Você pode usar Databricks Ativo Bundles para empacotar e implantar código-fonte e configurações em um workspace de destino e para acionar a execução de uma atualização em um pipeline configurado dessa maneira. Consulte Converter um pipeline em um projeto Databricks ativo Bundle.
A extensão Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipeline usando Databricks ativo Bundles. Veja Bundle recurso Explorer.
Sincronize o código pipeline do seu IDE com um workspace
A tabela a seguir resume as opções para sincronizar o código-fonte pipeline entre seu IDE local e um workspace Databricks :
Ferramenta ou padrão | Detalhes |
|---|---|
Databricks Asset Bundles | Utilize os Bundles Databricks Ativo para implantar pipeline Ativo com diferentes níveis de complexidade, desde um único arquivo de código-fonte até configurações para múltiplos pipelines, Jobs e arquivos de código-fonte. Consulte Converter um pipeline em um projeto Databricks ativo Bundle. |
Extensão do Databricks para Visual Studio Code | Databricks fornece uma integração com o Visual Studio Code que inclui sincronização fácil entre seu IDE local e arquivos workspace . Esta extensão também fornece ferramentas para usar Databricks ativo Bundles para implantar pipeline ativo. Veja O que é a extensão Databricks para o Visual Studio Code?. |
arquivos de espaço de trabalho | Você pode usar os arquivos workspace Databricks para upload o código-fonte pipeline no seu workspace Databricks e depois importar esse código para um pipeline. Veja O que são arquivos workspace ?. |
Pastas Git | As pastas Git permitem sincronizar o código entre o seu ambiente local e workspace Databricks , usando um repositório Git como intermediário. Consulte as pastas Git do Databricks. |