Databricks Connect for Scala をインストールする

注

この記事では、Databricks Connect for Databricks Runtime 13.3 LTS 以降について説明します。

この記事では、Databricks Connect for Scala をインストールする方法について説明します。「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「 Databricks Connect for Python のインストール」を参照してください。

要件

ターゲットDatabricksワークスペースとクラスターは、Databricks Connectのコンピュート構成の要件を満たしている必要があります。
開発マシンにインストールされている Java 開発キット (JDK)。 Databricks では、使用する JDK インストールのバージョンを Databricks クラスターの JDK バージョンと一致させることをお勧めします。クラスターの JDK バージョンを確認するには、クラスターの Databricks Runtime リリースノートの「システム環境」セクションを参照してください。たとえば、Zulu 8.70.0.23-CA-linux64 は JDK 8 に対応します。リリースノートDatabricks Runtimeバージョンと互換性を参照してください。
開発マシンに Scala がインストールされていること。では、Databricks インストールのバージョンをScala クラスタリングのScala バージョンと一致させることをお勧めします。DatabricksScalaDatabricks Runtimeクラスタリングの Databricks Runtimeバージョンのバージョンを見つけるには、そのバージョンのリリースノートのシステム環境セクションを参照してください。リリースノートのバージョンと互換性Databricks Runtimeを参照してください。
ユーザー定義関数 (UDF) を使用している場合、ローカルScala JavaScalaバージョンのJava U とバージョンは、Databricks Runtime バージョンのクラスタリングのバージョンとバージョンと一致する必要があります。ScalaJavaDatabricks Runtimeクラスタリングの Databricks Runtimeバージョンのバージョンとバージョンを見つけるには、そのバージョンのリリースノートのシステム環境セクションを参照してください。リリースノートのバージョンと互換性Databricks Runtimeを参照してください。
開発マシン上の Scala ビルドツール ( sbtなど)。

Databricks Connect クライアントへの参照を追加する

Databricks Connect クライアントを設定するには、まずクライアントへの参照を追加します。 sbtの build.sbt、Maven の pom.xml、Gradle の build.gradle など、Scala プロジェクトのビルドファイルに、Databricks Connect クライアントに次の参照を追加します。14.0.0 を、クラスター上の Databricks Runtime バージョンと一致する Databricks Connect ライブラリのバージョンに置き換えます。Databricks Connect ライブラリのバージョン番号は、 Maven 中央リポジトリで確認できます。

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

implementation 'com.databricks.databricks-connect:14.0.0'

接続プロパティの構成

次に、Databricks Connect とリモート Databricks クラスター間の接続を確立するためのプロパティを構成します。これらのプロパティには、クラスターで Databricks Connect を認証するための設定が含まれています。については、コンピュートの設定Databricks Connect を参照してください。

Databricks Connect for Databricks Runtime 13.3 LTS 以降の場合、Scala の場合、Databricks Connect には Databricks SDK for Java が含まれています。この SDK は、 Databricks クライアント統合認証標準を実装しており、認証に対する統合された一貫性のあるアーキテクチャおよびプログラムによるアプローチです。このアプローチにより、Databricks での認証の設定と自動化がより一元化され、予測可能になります。これにより、Databricks 認証を一度構成すると、認証構成をさらに変更することなく、その構成を複数の Databricks ツールや SDK で使用できます。

注

OAuth ユーザー対マシン (U2M) 認証の場合は、Scala コードを実行する前に Databricks CLI を使用して認証する必要があります。「チュートリアル」を参照してください。