registro init script

Os eventos init script começar e terminar são capturados nos logs de eventos clusters . Os detalhes são capturados em logs clusters . Os eventos globais de criação, edição e exclusão init script também são capturados nos logs de auditoria no nível account .

eventos init script

Os logs de eventos de cluster capturam dois eventos init script : INIT_SCRIPTS_STARTED e INIT_SCRIPTS_FINISHED, indicando quais scripts estão programados para execução e quais foram concluídos com êxito. INIT_SCRIPTS_FINISHED também captura a duração da execução.

init script global é indicado nos detalhes do evento logs pela key "global" e init scriptcom escopo definido por clusters é indicado pela key "cluster".

Observação

os logs de eventos clusters não registram eventos init script para cada nó clusters ; apenas um nó é selecionado para representar todos eles.

Onde os logs init script são gravados?

Se a entrega de logsclusters estiver configurada para clusters, os logs init script serão gravados em /<cluster-log-path>/<cluster-id>/init_scripts.

Os logs de cada contêiner nos clusters são gravados em um subdiretório denominado init_scripts/<cluster-id>_<container-ip>.

Por exemplo, se cluster-log-path for definido como cluster-logs, o caminho para os logs de um contêiner específico seria: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Se os clusters estiverem configurados para gravar logs no DBFS, você poderá view os logs usando as utilidades do sistema de arquivos (dbutils.fs) ou o DBFS CLI (legado). Por exemplo, se o ID clusters for 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Quando a entrega de log clusters não está configurada, os logs são gravados em /databricks/init_scripts. Você pode usar comandos shell padrão em um Notebook para listar e view os logs:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Sempre que um clusters é iniciado, ele grava logs na pasta logs init script .

Importante

Qualquer usuário que crie clusters e ative a entrega logs clusters pode view a saída stderr e stdout do init script global . Você deve garantir que seu init script global não gere nenhuma informação confidencial.

eventos init script em logs de auditoria

Databricks audit logs capture global init script criar, editar e excluir eventos sob o tipo de evento globalInitScripts. Consulte Eventos globais do script de inicialização.