Databricks Connectのクラスター構成

注

この記事では、 Databricks Runtime 13.0 以降の Databricks Connect について説明します。

この記事では、Databricks Connect がクラスターに接続する前に、Databricks クラスターの構成要件と設定を示します。 この情報は、特に明記されていない限り、Databricks Connect の Python および Scala バージョンに適用されます。

Databricks Connect を使用すると、Visual Studio Code、PyCharm、RStudio Desktop、IntelliJ IDEA、ノートブック サーバー、その他のカスタム アプリケーションなどの一般的な IDEs を Databricks クラスターに接続できます。 「 Databricks Connect とは」を参照してください。

要件

  • Unity Catalog に対して有効になっている Databricks ワークスペースとそれに対応するアカウントがあります。 「Unity Catalog の設定と管理 」および「 Unity Catalog のワークスペースを有効にする」を参照してください。

  • Databricks Runtime 13.3 LTS 以降がインストールされた Databricks クラスター。

  • クラスターは、割り当て済みまたは共有のクラスター アクセス モードを使用する必要があります。 アクセス・モードを参照してください。

  • 使用する Databricks Connect のバージョンは、クラスター上で実行されている Databricks Runtime バージョン以下である必要があります。

プログラムによる検証

Databricks Connect 14.3 以降では、 DatabricksSession.builderにvalidateSessionが導入され、一連の検証を実行して前述の要件が満たされていることを確認します。

Databricks Connect for Python では、 databricks-connectバイナリに同じ検証セットを実行するtestサブコマンドがあります。

このコマンドは、Databricks Connect を含むアクティブな Python 環境があり、一連の資格情報が構成されているターミナルで実行する必要があります。 これらの資格情報を構成するには、「 接続プロパティの構成」を参照してください。

databricks-connect test

いずれかの要件が満たされていない場合、コマンドは失敗し、ゼロ以外の終了コードと適切なメッセージが表示されます。

Databricks接続の無効化

Databricks Connect (および基になる Spark 接続) サービスは、任意のクラスターで無効にすることができます。

Databricks Connect サービスを無効にするには、クラスターで次の Spark 構成 を設定します。

spark.databricks.service.server.enabled false

次のステップ