initスクリプトで環境変数を設定して使用する

initスクリプトは、クラスターに存在するすべての環境変数にアクセスできます。 Databricks は、initスクリプト ロジックで役立つ多くのデフォルト変数を設定します。

Spark 構成で設定された環境変数は、init スクリプトで使用できます。 環境変数を参照してください。

デフォルトでinitスクリプトに公開される環境変数は何ですか?

クラスタースコープとグローバル initスクリプトは、次の環境変数をサポートします。

• DB_CLUSTER_ID：スクリプトが実行されているクラスターのID。クラスター APIを参照してください。

• DB_CONTAINER_IP：Sparkが実行されるコンテナーのプライベートIPアドレス。initスクリプトは、このコンテナー内で実行されます。クラスターAPIを参照してください。

• DB_IS_DRIVER: スクリプトがドライバー ノードで実行されているかどうか。

• DB_DRIVER_IP: ドライバー ノードの IP アドレス。

• DB_INSTANCE_TYPE: ホスト VM のインスタンスタイプ。

• DB_CLUSTER_NAME: スクリプトが実行されているクラスターの名前。

• DB_IS_JOB_CLUSTER: クラスターがジョブを実行するために作成されたかどうか。 「ジョブのコンピュートの設定」を参照してください。

たとえば、スクリプトの一部をドライバー ノードでのみ実行する場合は、次のようなスクリプトを記述できます。

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

initスクリプトでシークレットを使用する

シークレットを参照するときは、任意の有効な変数名を使用できます。 環境変数で参照されるシークレットへのアクセスは、クラスターを構成したユーザーのアクセス許可によって決まります。 環境変数に格納されているシークレットには、クラスターのすべてのユーザーがアクセスできますが、プレーンテキスト表示から編集されます。

「Spark 構成プロパティまたは環境変数でのシークレットの使用」を参照してください。