Amazon
Web Services
Microsoft Azure
Google Cloud Platforminitスクリプトロギング
initスクリプトの開始イベントと終了イベントは、クラスターイベントログにキャプチャされます。 詳細はクラスター ログにキャプチャされます。 グローバル initScript の作成、編集、削除イベントもアカウントレベルの監査ログにキャプチャされます。
initスクリプトイベント
クラスター イベント ログ は、 INIT_SCRIPTS_STARTED と INIT_SCRIPTS_FINISHEDの 2 つの init スクリプト イベントをキャプチャし、実行がスケジュールされているスクリプトと正常に完了したスクリプトを示します。 INIT_SCRIPTS_FINISHED では、実行時間もキャプチャされます。
グローバル initスクリプトは、ログイベントの詳細でキー "global" で示され、クラスタースコープの initスクリプトはキー "cluster"で示されます。
注
クラスターイベントログは、各クラスターノードのinitスクリプトイベントをログに記録しません。それらすべてを表すノードは 1 つだけ選択されます。
initスクリプトログはどこに書き込まれますか?
クラスターにクラスター ログ配信が構成されている場合、initスクリプト ログは /<cluster-log-path>/<cluster-id>/init_scriptsに書き込まれます。
クラスター内の各コンテナーのログは、 init_scripts/<cluster-id>_<container-ip>というサブディレクトリに書き込まれます。
たとえば、 cluster-log-path が cluster-logsに設定されている場合、特定のコンテナーのログへのパスは dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>になります。
クラスターが DBFS にログを書き込むように設定されている場合は、 ファイル システム ユーティリティ (dbutils.fs) を使用してログを表示できます。 または DBFS CLI (レガシー) を使用します。 たとえば、クラスター ID が 1001-234039-abcde739の場合:
dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts
1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199
dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166
<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log
クラスター ログ配信が設定されていない場合、ログは /databricks/init_scriptsに書き込まれます。 ノートブックで標準のシェル コマンドを使用して、ログを一覧表示および表示できます。
%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log
クラスターが起動するたびに、initScript ログフォルダーにログが書き込まれます。
重要
クラスターを作成してクラスターログ配信を有効にするすべてのユーザーは、グローバル initScript からの stderr と stdout 出力を表示できます。 グローバル initスクリプト が機密情報を出力しないようにする必要があります。
監査ログの initスクリプト イベント
Databricks監査ログは、イベント タイプ globalInitScripts のグローバル init スクリプトの作成、編集、および削除イベントをキャプチャします。 グローバル initscript イベントを参照してください。