Databricks Connect for Python への移行

この記事では、Databricks Connect for Databricks Runtime 12.2 LTS 以下から Databricks Connect for Databricks Runtime 13.0 以降 (Python の場合) に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブックサーバー、およびカスタムアプリケーションを Databricks クラスターに接続できます。「Databricks Connect とは」を参照してください。この記事の Scala バージョンについては、「 Scala 用 Databricks Connect への移行」を参照してください。

注

Databricks Connectの使用を開始する前に、Databricks Connect クライアントをセットアップする必要があります。

次のガイドラインに従って、既存の Python コードプロジェクトまたはコーディング環境を Databricks Connect for Databricks ランタイム 12.2 LTS 以下から Databricks Connect for Databricks Runtime 13.0 以降に移行します。

Databricks クラスターに一致するように、インストール要件に記載されている正しいバージョンの Python をインストールします (まだローカルにインストールされていない場合)。
必要に応じて、クラスターに一致する正しいバージョンの Python を使用するように Python 仮想環境をアップグレードします。手順については、仮想環境プロバイダーのドキュメントを参照してください。
仮想環境をアクティブ化した状態で、仮想環境から PySpark をアンインストールします。
```
pip3 uninstall pyspark
```
仮想環境をアクティブ化したまま、 Databricks Runtime 12.2 LTS 以下の Databricks Connect をアンインストールします。
```
pip3 uninstall databricks-connect
```
仮想環境をアクティブ化したまま、 Databricks Runtime 13.0 以降の Databricks Connect をインストールします。
```
pip3 install --upgrade "databricks-connect==14.0.*"  # Or X.Y.* to match your cluster version.
```
注

Databricks では、最新のパッケージがインストールされていることを確認するために、databricks-connect=X.Yではなく "ドットアスタリスク" 表記を追加してdatabricks-connect==X.Y.*を指定することをお勧めします。これは必須ではありませんが、そのクラスターでサポートされている最新の機能を確実に使用できるようにするのに役立ちます。
Python コードを更新して、spark 変数 (PySpark のSparkSessionと同様に、DatabricksSession クラスのインスタンス化を表す) を初期化します。コード例については、「 Python のインストール Databricks 接続」を参照してください。
を使用するように RDDAPIs DataFrameAPIsを移行し、代替を使用するようにSparkContext を移行します。

Hadoop 構成を設定する

クライアントでは、SQL および DataFrame 操作に適用される spark.conf.set API を使用して Hadoop 構成を設定できます。 sparkContextに設定されている Hadoop 構成は、クラスター構成で設定するか、ノートブックを使用して設定する必要があります。これは、 sparkContext に設定された構成がユーザーセッションに関連付けられず、クラスター全体に適用されるためです。