registro init script

Os eventos init script começar e terminar são capturados nos logs de eventos clusters . Os detalhes são capturados em logs clusters . Os eventos globais de criação, edição e exclusão init script também são capturados nos logs de auditoria no nível account .

eventos init script

Os logs de eventos de cluster capturam dois eventos init script : INIT_SCRIPTS_STARTED e INIT_SCRIPTS_FINISHED, indicando quais scripts estão programados para execução e quais foram concluídos com êxito. INIT_SCRIPTS_FINISHED também captura a duração da execução.

init script global é indicado nos detalhes do evento logs pela key "global" e init scriptcom escopo definido por clusters é indicado pela key "cluster".

Observação

os logs de eventos clusters não registram eventos init script para cada nó clusters ; apenas um nó é selecionado para representar todos eles.

Onde os logs init script são gravados?

Se a entrega de logsclusters estiver configurada para clusters, os logs init script serão gravados em /<cluster-log-path>/<cluster-id>/init_scripts.

Os logs de cada contêiner nos clusters são gravados em um subdiretório denominado init_scripts/<cluster-id>_<container-ip>.

Por exemplo, se cluster-log-path for definido como cluster-logs, o caminho para os logs de um contêiner específico seria: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Se os clusters estiverem configurados para gravar logs no DBFS, você poderá view os logs usando as utilidades do sistema de arquivos (dbutils.fs) ou o DBFS CLI (legado). Por exemplo, se o ID clusters for 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts
1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199
dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166
<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Quando a entrega de log clusters não está configurada, os logs são gravados em /databricks/init_scripts. Você pode usar comandos shell padrão em um Notebook para listar e view os logs:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Sempre que um clusters é iniciado, ele grava logs na pasta logs init script .

Importante

Qualquer usuário que crie clusters e ative a entrega logs clusters pode view a saída stderr e stdout do init script global . Você deve garantir que seu init script global não gere nenhuma informação confidencial.

eventos init script em logs de auditoria

Os logs de auditoria do Databricks capturam init script global, criam, editam e excluem eventos no tipo de evento globalInitScripts. Consulte Eventos globais init script .