Databricks Connect の使用要件
この記事では、Databricks Runtime 13.3 LTS以降のDatabricks Connectについて説明します。
この記事では、Databricks Connect の使用要件について説明します。Databricks Connectに関する情報については、Databricks Connectとは?を参照してください。
ワークスペースの要件
Databricks Connect を使用してワークスペースに接続するには:
-
Databricks アカウントとワークスペースで Unity Catalog が有効になっている必要があります。「 Unity Catalog の概要 」および「 Unity Catalog のワークスペースを有効にする」を参照してください。
-
コンピュートの Databricks Runtime バージョンは、 Databricks Connect パッケージバージョン以上である必要があります。 Databricks では、Databricks Runtime のバージョンに一致する最新の Databricks Connect パッケージを使用することをお勧めします。
Databricks Runtime の新しいバージョンで使用できる機能を使用するには、Databricks Connect パッケージをアップグレードする必要があります。使用可能なDatabricks Connectリリースのリストについては、Databricks Connectリリースノートを参照してください。Databricks Runtimeバージョンのリリースノートについては、「リリースノートのバージョンと互換性Databricks Runtime」を参照してください。
-
サーバレス コンピュートに接続する場合、ワークスペースはサーバレス コンピュートの要件を満たしている必要があります。
サーバレス コンピュートは、バージョン 15.1 以降 Databricks Connect サポートされています。 サーバレスのDatabricks Runtimeリリース以下のバージョンのDatabricks Connectには、完全な互換性があります。リリースノートを参照してください。Databricks Connect バージョンがサーバレス コンピュートと互換性があるかどうかを確認するには、「Databricksへの接続の検証」を参照してください。
地域の環境要件
Databricks Connect をインストールするには、ローカル開発環境が次の要件を満たしている必要があります。
- Python
- Scala
-
Databricks への認証が構成されています。Databricks 認証の種類によっては、次の要件がある場合があります。
-
OAuth ユーザーマシン間 (U2M) 認証の場合は、コードを実行する前に Databricks CLI を使用して認証する必要があります。「Databricks Connect for Python チュートリアル」を参照してください。
-
OAuth ユーザーマシン間 (U2M) 認証 と OAuth マシン間 (M2M) 認証 は、Databricks SDK for Python 0.19.0 以降でサポートされています。プロジェクトにインストールされているバージョンの Databricks SDK for Python を更新するには、「 Databricks SDK for Python の概要」を参照してください。
-
-
Python 3 がインストールされており、インストールされている Python のマイナー バージョンは、以下の バージョン互換性表 のバージョン要件を満たしています。
-
ユーザ定義関数 (UDF) を使用している場合、Python のローカルマイナーバージョンは、Databricks Runtimeバージョンのクラスタまたはサーバレスコンピュートのマイナーバージョンの Python と一致します。クラスターのDatabricks RuntimeバージョンのマイナーPythonバージョンを見つけるには、そのバージョンのDatabricks Runtimeリリースノートの 「システム環境 」セクションを参照してください。リリースノートのバージョンと互換性Databricks Runtimeおよびサーバレス コンピュート リリースノートを参照してください。
-
Databricks への認証が構成されています。Databricks 認証の種類によっては、次の要件がある場合があります。
-
OAuth ユーザーマシン間 (U2M) 認証の場合は、コードを実行する前に Databricks CLI を使用して認証する必要があります。「Databricks Connect for Scala チュートリアル」を参照してください。
-
OAuth ユーザーマシン間 (U2M) 認証 と OAuth マシン間 (M2M) 認証 は、Databricks SDK for Java 0.18.0 以降でサポートされています。プロジェクトにインストールされているバージョンの Databricks SDK for Java を更新するには、「 Databricks SDK for Java の概要」を参照してください。
-
Databricks Connect for Databricks Runtime 13.3 LTS 以降の場合、Scala の場合、Databricks Connect には Databricks SDK for Java が含まれています。この SDK は、 Databricks 統合認証 標準を実装します。
-
-
Java Development Kit (JDK) がインストールされます。Databricks では、JDK インストールのバージョンを Databricks クラスターの JDK バージョンと一致させることをお勧めします。クラスターで のJDKバージョンを見つけるには、Databricks RuntimeDatabricks Runtime リリースノート の システム環境 セクションまたは バージョン互換性表 を参照してください。
クラスターの JDK バージョンと一致しない JDK バージョンを使用すると、予期しない動作が発生したり、コードが実行できなくなったりする可能性があります。
-
Scala がインストールされています。Databricks では、Scala インストールのバージョンを Databricks クラスターの Scala バージョンと一致させることをお勧めします。ScalaDatabricks Runtimeクラスターの バージョンの バージョンを見つけるには、Databricks Runtime リリースノート の システム環境 セクションまたは バージョン互換性表 を参照してください。
-
ユーザー定義関数 (UDF) を使用している場合、ローカルの Scala バージョンと Java バージョンは、クラスターの Databricks Runtime バージョンの Scala バージョンと Java バージョンと一致します。クラスターの バージョンの ScalaバージョンとJava バージョンを確認するには、Databricks RuntimeDatabricks Runtime リリースノート の 「システム環境 」セクションまたは以下の バージョン互換性表 を参照してください。
-
sbtなどの Scala ビルド ツールがインストールされています。
Databricks Connect のバージョン
次の表は、サポートされている Databricks Connect と互換性のある言語バージョンを示しています。Databricks Connect のバージョン番号は、Databricks Runtime のバージョン番号に対応します。使用可能なDatabricks Connectリリースのリストについては、Databricks Connectリリースノートを参照してください。Databricks Runtimeバージョンのリリースノートについては、「リリースノートのバージョンと互換性Databricks Runtime」を参照してください。
- Python
- Scala
UDF のサポートについては、「 Python ベース環境」を参照してください。
Databricks Connect のバージョン | クラスタータイプ | 互換性のあるPythonバージョン |
|---|---|---|
18.0から18.1 | クラスター | 3.12 |
18.0 | サーバレス、バージョン 5 | 3.12 |
17.2から17.3 | サーバレス、バージョン 4 | 3.12 |
17.2から17.3 | クラスター | 3.12 |
16.4.1から17未満 | サーバレス、バージョン 3 | 3.12 |
16.4 | クラスター | 3.12 |
15.4.10から16歳未満 | サーバレス、バージョン 2 | 3.11 |
15.4 | クラスター | 3.11 |
14.3 | クラスター | 3.10 |
13.3 | クラスター | 3.10 |
Databricks Connect のバージョン | クラスタータイプ | JDKバージョン | Scala バージョン |
|---|---|---|---|
18.0から18.1 | クラスター | JDK 21 | 2.13.16 |
17.2から17.3 | サーバレス、バージョン 4 | JDK17 | 2.13.16 |
17.2から17.3 | クラスター | JDK17 | 2.13.16 |
16.4 | クラスター | JDK17 | 2.12.18 |
15.4 | クラスター | JDK 8 | 2.12.18 |
14.3 | クラスター | JDK 8 | 2.12.15 |
13.3 | クラスター | JDK 8 | 2.12.15 |
サポート終了バージョン
Databricks Connect は、Databricks Runtime のサポート ライフサイクルに従います。以下のバージョンはサポート終了となりました。サポート終了に達したバージョンの Databricks Connect を使用している場合は、 サポートされているバージョンにアップグレードしてください。
- Python
- Scala
Databricks Connect のバージョン | クラスタータイプ | 互換性のあるPythonバージョン |
|---|---|---|
17.0から17.1 | サーバレス、バージョン 4 | 3.12 |
16.0から16.4.0 | サーバーレス | 互換性のある Python バージョンはありません。Databricks Connect 16.4.1 以上にアップグレードします。 |
16.0から16.3 | クラスター | 3.12 |
15.1から15.4.9 | サーバーレス | 互換性のある Python バージョンはありません。Databricks Connect 15.4.10 以上にアップグレードします。 |
15.1から15.3 | クラスター | 3.11 |
14.0から14.2 | クラスター | 3.10 |
13.0から13.2 | クラスター | 3.10 |
Databricks Connect のバージョン | クラスタータイプ | JDKバージョン | Scala バージョン |
|---|---|---|---|
16.0から16.3 | クラスター | JDK17 | 2.12.18 |
15.1から15.3 | クラスター | JDK 8 | 2.12.18 |
14.0から14.2 | クラスター | JDK 8 | 2.12.15 |