Databricks Connectのクラスター構成

注

この記事では、Databricks Runtime 13.3 LTS 以降の Databricks Connect について説明します。

この記事では、DatabricksDatabricks コンピュートDatabricks Connect に接続するために必要な構成設定を示します。この情報は、特に明記しない限り、Databricks Connect の Python および Scala バージョンに適用されます。

Databricks Connect を使用すると、Visual Studio Code、PyCharm、RStudio Desktop、IntelliJ IDEA、ノートブック サーバー、その他のカスタム アプリケーションなどの一般的な IDEs を Databricks クラスターに接続できます。 「 Databricks Connect とは」を参照してください。

要件

  • Unity Catalog が有効になっている Databricks アカウントとワークスペース。 「Unity Catalog のセットアップと管理」および「Unity Catalog のワークスペースの有効化」を参照してください。

  • Databricks Runtime 13.3 LTS 以降がインストールされた Databricks クラスター。

  • クラスターの Databricks Runtime バージョンは、Databricks Connect パッケージ バージョン以上である必要があります。 Databricks では、Databricks Runtime バージョンと一致する Databricks Connect の最新パッケージを使用することをお勧めします。 Databricks Runtime の新しいバージョンで利用可能な機能を使用する場合は、Databricks Connect パッケージをアップグレードする必要があります。 Databricks Connect利用可能な リリースの一覧については 、 リリースノートをDatabricks Connect 参照してください。Databricks Runtimeバージョンリリースノートについては、 Databricks Runtimeバージョンと互換性」を参照してください。

  • クラスターは、割り当て済みまたは共有のクラスター アクセス モードを使用する必要があります。 アクセス・モードを参照してください。

プログラムによる検証

Databricks Connect 14.3 以降では、 DatabricksSession.builderにvalidateSessionが導入され、一連の検証を実行して前述の要件が満たされていることを確認します。

Databricks Connect for Python では、 databricks-connectバイナリに同じ検証セットを実行するtestサブコマンドがあります。

このコマンドは、Databricks Connect を含むアクティブな Python 環境があり、一連の資格情報が構成されているターミナルで実行する必要があります。 これらの資格情報を構成するには、「 接続プロパティの構成」を参照してください。

databricks-connect test

いずれかの要件が満たされていない場合、コマンドは失敗し、ゼロ以外の終了コードと適切なメッセージが表示されます。

Databricks接続の無効化

Databricks Connect (および基になる Spark 接続) サービスは、任意のクラスターで無効にすることができます。

Databricks Connect サービスを無効にするには、クラスターで次の Spark 構成 を設定します。

spark.databricks.service.server.enabled false

次のステップ