Reinicie o processo Python no Databricks
O senhor pode reiniciar programaticamente o processo Python em Databricks para garantir que a biblioteca instalada localmente ou atualizada funcione corretamente no kernel Python para o seu SparkSession atual.
Ao reiniciar o processo Python, o senhor perde as informações de estado do Python. Databricks recomenda instalar todas as bibliotecas com escopo de sessão no início de um Notebook e executar dbutils.library.restartPython()
para limpar o processo Python antes de prosseguir.
O senhor pode usar esse processo no Notebook interativo ou para Python tarefa agendada com o Job.
O que é dbutils.library.restartPython
?
A função auxiliar dbutils.library.restartPython()
é a maneira recomendada de reiniciar o processo Python em um notebook Databricks.
A maioria das funções no submódulo dbutils.library
está obsoleta. Databricks recomenda enfaticamente o uso de %pip
para gerenciar todas as instalações de biblioteca com escopo de Notebook. NotebookConsulte -scoped Pythonbiblioteca.
Quando o senhor deve reiniciar o processo Python?
É uma boa ideia reiniciar o processo Python sempre que o senhor realizar uma instalação local que inclua qualquer um dos seguintes itens:
- Especificar uma versão de um pacote incluído no Databricks Runtime.
- Instalação de uma versão personalizada de um pacote incluído no Databricks Runtime.
- Atualizar explicitamente uma biblioteca para a versão mais recente usando
%pip install <library-name> --upgrade
. - Configurando um ambiente personalizado a partir de um arquivo
requirements.txt
local. - A instalação de uma biblioteca que requer a alteração das versões da biblioteca dependente que estão incluídas em Databricks Runtime.