Journalisation des scripts d'initialisation

Les événements de start et de fin de script d’initialisation sont capturés dans les Logs d'événements du cluster. Les détails sont capturés dans les logs du cluster. Les événements de création, modification et suppression de scripts d'initialisation globaux sont également capturés dans les logs d'audit au niveau du compte.

Événements de script d'initialisation

Les Logs d’événements de clusters capturent deux événements de script d’initialisation : INIT_SCRIPTS_STARTED et INIT_SCRIPTS_FINISHED, indiquant quels scripts sont planifiés pour l’exécution et lesquels ont été exécutés avec succès. INIT_SCRIPTS_FINISHED capture également la durée d’exécution.

Les scripts d'initialisation globaux sont indiqués dans les détails des événements des Logs par la clé "global" et les scripts d'initialisation à l'échelle du clusters sont indiqués par la clé "cluster".

remarque

Les Logs d'événements de cluster n'enregistrent pas les événements de script d'initialisation pour chaque nœud de cluster ; seul un nœud est sélectionné pour les représenter tous.

Où les logs de script d'initialisation sont-ils écrits ?

Si la log delivery est configurée pour un cluster, les logs du script d'initialisation sont écrits dans /<cluster-log-path>/<cluster-id>/init_scripts.

Logs de chaque conteneur du cluster sont écrits dans un sous-répertoire appelé init_scripts/<cluster-id>_<container-ip>.

Par exemple, si cluster-log-path est défini sur cluster-logs, le chemin d'accès aux Logs d'un conteneur spécifique serait : dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Si le cluster est configuré pour écrire des logs dans DBFS, vous pouvez afficher les logs à l’aide de l’ utilitaire de système de fichiers (dbutils.fs) ou la CLI DBFS (héritée). Par exemple, si l’ID de cluster est 1001-234039-abcde739:

Bash

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

Console

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

Bash

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

Console

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Lorsque la livraison des Logs de clusters n'est pas configurée, les Logs sont écrits dans /databricks/init_scripts. Vous pouvez utiliser des commandes Shell standard dans un Notebook pour lister et visualiser les Log :

Bash

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Chaque fois qu'un cluster démarre, il écrit un log dans le dossier des logs du script d'initialisation.

important

Tout utilisateur qui crée un cluster et active la livraison des Logs de clusters peut afficher la sortie stderr et stdout des scripts d'initialisation globaux. Vous devez vous assurer que vos scripts d'initialisation globaux ne génèrent aucune information sensible.

Événements de script d'initialisation dans les logs d'audit

Les Logs d'audit Databricks capturent les événements de création, de modification et de suppression de scripts d'initialisation globaux sous le type d'événement globalInitScripts. Voir les événements des scripts d'initialisation globaux.