Databricks で Python プロセスを再起動します

Databricks で Python プロセスをプログラムで再起動して、ローカルにインストールまたはアップグレードされたライブラリが現在の SparkSession の Python カーネルで正しく機能することを確認できます。

Python プロセスを再起動すると、Python の状態情報は失われます。 Databricks では、セッション スコープのすべてのライブラリをノートブックの先頭にインストールし、 dbutils.library.restartPython() を実行して Python プロセスをクリーンアップしてから続行することをお勧めします。

このプロセスは、対話型ノートブックや、ジョブでスケジュールされた Python タスクに使用できます。

dbutils.library.restartPythonとは?

ヘルパー関数 dbutils.library.restartPython() は、Databricks ノートブックで Python プロセスを再起動するための推奨される方法です。

注記

dbutils.library サブモジュールのほとんどの関数は非推奨です。Databricks では、 %pip を使用して、ノートブック スコープのすべてのライブラリ インストールを管理することを強くお勧めします。 ノートブック スコープの Python ライブラリを参照してください。

Pythonプロセスはいつ再起動する必要がありますか?

次のいずれかを含むローカルインストールを実行するときは、いつでもPythonプロセスを再起動することをお勧めします。

• Databricks Runtime に含まれるパッケージのバージョンを指定します。
• Databricks Runtime に含まれるパッケージのカスタム バージョンをインストールする。
• %pip install <library-name> --upgradeを使用してライブラリを最新バージョンに明示的に更新する
• ローカル requirements.txt ファイルからのカスタム環境の構成。
• Databricks Runtimeに含まれている依存ライブラリのバージョンを変更する必要があるライブラリのインストール