Reinicie o processo Python no Databricks
O senhor pode reiniciar programaticamente o processo Python em Databricks para garantir que a biblioteca instalada localmente ou atualizada funcione corretamente no kernel Python para o seu SparkSession atual.
Ao reiniciar o processo Python, o senhor perde as informações de estado do Python. Databricks recomenda instalar todas as bibliotecas com escopo de sessão no início de um Notebook e executar dbutils.library.restartPython() para limpar o processo Python antes de prosseguir.
O senhor pode usar esse processo no Notebook interativo ou para Python tarefa agendada com o Job.
O que é dbutils.library.restartPython?
A função auxiliar dbutils.library.restartPython() é a maneira recomendada de reiniciar o processo Python em um notebook Databricks.
A maioria das funções no submódulo dbutils.library está obsoleta. Databricks recomenda enfaticamente o uso de %pip para gerenciar todas as instalações de biblioteca com escopo de Notebook. NotebookConsulte -scoped Pythonbiblioteca.
Quando o senhor deve reiniciar o processo Python?
É uma boa ideia reiniciar o processo Python sempre que o senhor realizar uma instalação local que inclua qualquer um dos seguintes itens:
- Especificar uma versão de um pacote incluído no Databricks Runtime.
- Instalação de uma versão personalizada de um pacote incluído no Databricks Runtime.
- Atualizar explicitamente uma biblioteca para a versão mais recente usando %pip install <library-name> --upgrade.
- Configurando um ambiente personalizado a partir de um arquivo requirements.txtlocal.
- A instalação de uma biblioteca que requer a alteração das versões da biblioteca dependente que estão incluídas em Databricks Runtime.