用の を備えたクラシックなJupyterノートブックを使用するDatabricks ConnectPython
この記事では、Databricks Runtime13.3LTLTS以降のDatabricks Connectについて説明します。
この記事では、Databricks Connect Python従来の Jupyter ノートブック で for を使用する方法について説明します。Databricks Connect を使用すると、一般的なノートブック サーバー、 IDEs、およびその他のカスタム アプリケーションを Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。
Databricks Connect の使用を開始する前に、 Databricks Connect クライアントを設定する必要があります。
Databricks Connect従来の Jupyter ノートブックと でPython を使用するには、次の手順に従います。
-
従来の Jupyter ノートブックをインストールするには、 Python 仮想環境をアクティブにして、ターミナルまたはコマンド プロンプトから次のコマンドを実行します。
Bashpip3 install notebook
-
Web ブラウザーで従来の Jupyter ノートブックを起動するには、アクティブ化された仮想環境 Python から次のコマンドを実行します。
Bashjupyter notebook
従来の Jupyter ノートブックが Web ブラウザーに表示されない場合は、仮想環境から
localhost
または127.0.0.1
で始まる URL をコピーし、Web ブラウザーのアドレス バーに入力します。 -
新しいノートブックを作成する: クラシック Jupyter ノートブックの [ ファイル ] タブで、[ 新規 > Python 3 (ipykernel)] をクリックします。
-
ノートブックの最初のセルに、 サンプル コード または独自のコードを入力します。 独自のコードを使用する場合は、少なくともサンプルコードに示すように
DatabricksSession
初期化する必要があります。 -
ノートブックを実行するには、[ セル] > [すべて実行 ] をクリックします。 すべてのPython コードはローカルで実行されますが、リモートPySpark DataFrameワークスペースのクラスターで実行されるDatabricks 操作と実行応答を含むすべての コードは、ローカルの呼び出し元に送り返されます。
-
ノートブックをデバッグするには、ノートブックの先頭に次のコード行を追加します。
from IPython.core.debugger import set_trace
次に、
set_trace()
を呼び出して、ノートブックの実行のその時点でデバッグ ステートメントを入力します。 Pythonすべてのコードはローカルでデバッグされますが、すべてのPySparkコードはリモート Databricks ワークスペースのクラスターで引き続き実行されます。コア Spark エンジン コードは、クライアントから直接デバッグできません。 -
従来の Jupyter ノートブックをシャットダウンするには、[ ファイル] > [閉じて停止 ] をクリックします。 従来の Jupyter ノートブック プロセスがまだターミナルまたはコマンド プロンプトで実行されている場合は、
Ctrl + c
キーを押してからy
と入力して確認し、このプロセスを停止します。