Databricks Connect for Scala への移行
Databricks Connect for Databricks Runtime 13.3 LTS 以降 for Scala は パブリック プレビュー段階です。
この記事では、Databricks Connect for Databricks Runtime 12.2 LTS 以下から Databricks Connect for Databricks Runtime 13.3 LTS 以降 for Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDEs、ノートブック サーバー、およびカスタム アプリケーションを Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「 Databricks Connect for Python への移行」を参照してください。
Databricks Connect の使用を開始する前に、 Databricks Connect クライアントを設定する必要があります。
-
正しいバージョンのJava Development Kit (JDK)Scala Databricksをインストールし、 クラスターに一致するようにインストール 要件 に記載されているとおりに します (まだローカルにインストールされていない場合)。
-
sbt
のbuild.sbt
、Maven のpom.xml
、Gradle のbuild.gradle
など、Scala プロジェクトのビルド ファイルで、Databricks Connect クライアントへの次の参照を更新します。
- Sbt
- Maven
- Gradle
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
implementation 'com.databricks.databricks-connect:14.0.0'
を、クラスターの バージョンと一致する 14.0.0
Databricks Connectライブラリのバージョンに置き換えます。Databricks RuntimeDatabricks Connect ライブラリのバージョン番号は、 Maven 中央リポジトリで確認できます。
3. Scala コードを更新して、spark
変数 (Spark の SparkSparkSession
と同様に、DatabricksSession
クラスのインスタンス化を表す) を初期化します。コード例については、「 Databricks Connect for Scala のコード例」を参照してください。