Desenvolver o código do pipeline DLT em seu ambiente de desenvolvimento local

O senhor pode criar o código-fonte do pipeline Python no ambiente de desenvolvimento integrado (IDE) de sua preferência.

O senhor não pode validar ou executar atualizações no código DLT escrito em um IDE. O senhor deve implantar os arquivos de código-fonte de volta em um Databricks workspace e configurá-los como parte de um DLT pipeline.

Este artigo apresenta uma visão geral do apoio ao desenvolvimento de IDEs locais. Para desenvolvimento e testes mais interativos, o site Databricks recomenda o uso do Notebook. Consulte Desenvolver e depurar o pipeline DLT no Notebook.

Configurar um IDE local para o desenvolvimento do pipeline

A Databricks fornece um módulo Python para desenvolvimento local distribuído pelo PyPI. Para obter instruções de instalação e uso, consulte o stub do Python para DLT.

Este módulo tem as interfaces e referências de docstring para a interface DLT Python, fornecendo verificação de sintaxe, autocompletar e verificação de tipo de dados à medida que o senhor escreve o código no seu IDE.

Esse módulo inclui interfaces, mas não implementações funcionais. O senhor não pode usar essa biblioteca para criar ou executar um DLT pipeline localmente.

O senhor pode usar o Databricks ativo Bundles para empacotar e implantar o código-fonte e as configurações em um workspace de destino e para acionar a execução de uma atualização em um pipeline configurado dessa forma. Consulte Converter um DLT pipeline em um projeto Databricks ativo Bundle.

A extensão Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipeline usando Databricks ativo Bundles. Consulte Bundle recurso Explorer.

Sincronize o código pipeline de seu IDE com um workspace

A tabela a seguir resume as opções de sincronização do código-fonte pipeline entre o IDE local e um Databricks workspace:

Ferramenta ou padrão	Detalhes
Databricks Asset Bundles	Use o Databricks ativo Bundles para implantar o pipeline ativo, cuja complexidade varia de um único arquivo de código-fonte a configurações para vários pipelines, trabalhos e arquivos de código-fonte. Consulte Converter um DLT pipeline em um projeto Databricks ativo Bundle.
Extensão do Databricks para Visual Studio Code	Databricks oferece uma integração com o Visual Studio Code que inclui a sincronização fácil entre o IDE local e os arquivos workspace. Essa extensão também fornece ferramentas para usar Databricks ativo Bundles para implantar o pipeline ativo. Consulte O que é a extensão Databricks para o Visual Studio Code?
arquivos do espaço de trabalho	O senhor pode usar os arquivos Databricks workspace para upload seu código-fonte pipeline para seu Databricks workspace e, em seguida, importar esse código para um pipeline. Consulte O que são arquivos workspace?
Pastas Git	Git permitem que o senhor sincronize o código entre seu ambiente local e Databricks workspace usando um repositório Git como intermediário. Consulte Integração do Git para pastas Git do Databricks.