Gerenciou as dependências Python para o pipeline.

LakeFlow Pipelines suportam dependências externas em seus pipelines. A Databricks recomenda usar um de dois padrões para instalar pacotes Python:

1. Use as configurações de ambiente para adicionar pacotes ao ambiente pipeline para todos os arquivos de origem em um pipeline.
2. Importe módulos ou bibliotecas do código-fonte armazenado em arquivos workspace . Consulte Importar módulos Python de pastas Git ou arquivos workspace.

Pipelines que usam compute clássico também são compatíveis com init scripts com escopo de cluster. LakeFlow Pipelines Serverless não são compatíveis com init scripts. Em todos os casos, a Databricks recomenda usar as configurações de Ambiente em vez de init scripts, porque as dependências externas, particularmente os init scripts, aumentam o risco de problemas com atualizações de Runtime. Se o seu processamento exigir init scripts, automatize o teste do seu pipeline para detectar problemas precocemente, e a Databricks recomenda aumentar a sua frequência de testes.

importante

Porque as bibliotecas JVM não são suportadas em pipelines, não utilize um init script para instalar bibliotecas JVM. No entanto, você pode instalar outros tipos de biblioteca, como bibliotecas Python, com um init script.

BibliotecaPython

Para especificar uma biblioteca Python externa, edite o ambiente do seu pipeline.

1. No editor de pipeline, clique em Configurações .
2. Em Ambiente de pipeline , selecione Editar ambiente .
3. Clique Adicionar dependência .
4. Digite o nome da dependência. O Databricks recomenda fixar a versão da biblioteca. Por exemplo, para adicionar uma dependência na versão 3.19 simplejson , digite simplejson==3.19.*.

Você também pode instalar um pacote Python wheel de um volume do Unity Catalog, especificando seu caminho, como /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

nota

Pipelines não oferecem suporte à reinicialização manual do processo do Python com dbutils.library.restartPython(). Declare todas as dependências do Python nas configurações de **Ambiente**, em vez de instalá-las ou recarregá-las em tempo de execução. Usar as configurações do Ambiente também permite que os pipelines reutilizem bibliotecas em cache entre execuções, em vez de reinstalá-las em cada execução.

Versão do ambiente

Por default, a versão da linguagem Python e o conjunto de bibliotecas pré-instaladas disponíveis para o seu pipeline vêm da versão atual do canal Databricks Runtime. Consulte Notas sobre a versão dos Pipelines Lakeflow e o processo de atualização da versão para as versões atuais e as listas de pacotes por Runtime.

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Para pin a versão da linguagem Python e o conjunto de bibliotecas pré-instaladas independentemente das atualizações Databricks Runtime , configure uma versão de ambiente no pipeline. Embora uma versão de ambiente esteja definida, as atualizações Databricks Runtime não alteram a versão da linguagem Python nem as versões das bibliotecas pré-instaladas, e quaisquer dependências externas adicionadas por meio das configurações de ambiente são aplicadas sobre essa base. Consulte Configurar versões de ambiente para o pipeline.

Suporte para bibliotecas Scala e Java

Não, os pipelines suportam apenas SQL e Python. Você não pode usar bibliotecas JVM em um pipeline. A instalação de bibliotecas JVM causa comportamento imprevisível e pode falhar com futuras versões de Lakeflow pipelines. Se seu pipeline usa um init script, você deve também garantir que as bibliotecas JVM não sejam instaladas pelo script.