Databricks Connect for Scala への移行
Databricks Connect for Databricks Runtime 13.3 LTS 以降 for Scala は パブリック プレビュー段階です。
この記事では、 Databricks Runtime 12.2 LTS以前向けのDatabricks Connect for ScalaからDatabricks Runtime 13.3 LTS 以降向けの Databricks Connect for Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、およびカスタム アプリケーションを Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、Databricks Connect for Python への移行を参照してください。
Databricks Connect の使用を開始する前に、 Databricks Connect クライアントを設定する必要があります。
-
ローカルにインストールしていない場合には、お使いのDatabricksクラスターとマッチするように、インストール要件に一覧されている適切なバージョンのJava Development Kit (JDK)とScalaをインストールします。
-
sbt
のbuild.sbt
、Maven のpom.xml
、Gradle のbuild.gradle
など、Scala プロジェクトのビルド ファイルで、Databricks Connect クライアントへの次の参照を更新します。タブ :::タブ-item[sbt]
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
:::
タブ-item[Maven]
XML<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>:::
タブ-item[Gradle]
implementation 'com.databricks.databricks-connect:14.0.0'
::: ::::
を、クラスターの バージョンと一致する
14.0.0
Databricks Connectライブラリのバージョンに置き換えます。Databricks RuntimeDatabricks Connect ライブラリのバージョン番号は、 Maven 中央リポジトリで確認できます。 -
Scala コードを更新して、
spark
変数 (Spark の SparkSparkSession
と同様に、DatabricksSession
クラスのインスタンス化を表す) を初期化します。コード例については、「 Databricks Connect for Scala のコード例」を参照してください。