Monitorar o oleoduto

Esta seção descreve os recursos de monitoramento e observabilidade para o pipeline declarativo LakeFlow Spark .

tópico	Descrição
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações pipeline e emita alertas sobre o sucesso ou falha. visualizar métricas para fontes de transmissão, como Apache Kafka e Auto Loader.
Registro de eventos	Extraia informações detalhadas sobre atualizações pipeline , como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos pipeline . Além disso, veja o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostique o desempenho da consulta observando a história da consulta.
Monitoramento personalizado	Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

tópico	Descrição
Recuperar um pipeline de falha no ponto de verificação de transmissão	Recuperar um pipeline que tenha um ponto de verificação de transmissão inválido ou corrompido.
Corrigindo tempos de inicialização elevados no pipeline.	Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga dos fluxos no pipeline.