initスクリプト logging
Initスクリプトの開始イベントと終了イベントはクラスターイベントログにキャプチャされます。詳細はクラスターログに記録されます。グローバルinitスクリプトの作成、編集、および削除イベントも、アカウントレベルの監査ログにキャプチャされます。
initスクリプト events
クラスター・イベント・ログ は、 INIT_SCRIPTS_STARTED と INIT_SCRIPTS_FINISHEDの2つのinitスクリプト・イベントをキャプチャし、実行がスケジュールされているスクリプトと正常に完了したスクリプトを示します。 INIT_SCRIPTS_FINISHED は、実行時間もキャプチャします。
グローバルinitスクリプトは、ログイベントの詳細で "global" キーで示され、クラスタスコープinitスクリプトは "cluster" キーで示されます。
クラスターイベントログには、各クラスターノードのinitスクリプトイベントは記録されません。それらすべてを表すために1つのノードのみが選択されます。
initスクリプトのログはどこに書き込まれますか?
クラスター ログ配信がクラスター用に構成されている場合、initスクリプト ログは /<cluster-log-path>/<cluster-id>/init_scriptsに書き込まれます。
クラスター内の各コンテナのログは、 init_scripts/<cluster-id>_<container-ip>というサブディレクトリに書き込まれます。
たとえば、 cluster-log-path が cluster-logsに設定されている場合、特定のコンテナのログへのパスは dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>になります。
クラスターがログを DBFSに書き込むように設定されている場合は、File system ユーティリティ (dbutils.fs) を使用してログを表示できます または DBFS CLI (レガシ) を使用します。 たとえば、クラスター ID が 1001-234039-abcde739の場合、次のようになります。
dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts
1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199
dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166
<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log
クラスターのログ配信が構成されていない場合、ログは/databricks/init_scriptsに書き込まれます。ノートブックで標準のシェルコマンドを使用して、ログを一覧表示および表示できます。
%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log
クラスターが起動するたびに、initスクリプトのログフォルダーにログが書き込まれます。
クラスターを作成してクラスターログ配信を有効にしたユーザーは誰でも、グローバルinitスクリプトからの stderr および stdout 出力を見ることができます。グローバルinitスクリプトが機密情報を出力しないようにする必要があります。
監査ログ内のinitスクリプトイベント
監査ログDatabricks、イベントタイプがglobalInitScriptsのグローバルinitスクリプトcreate、edit、およびdeleteイベントをキャプチャします。Global initスクリプトイベントを参照してください。