Monitorar o oleoduto

Monitore o LakeFlow Spark Declarative Pipelines utilizando a interface do usuário de pipeline integrada, o log de eventos, a história de consultas e ganchos de eventos personalizados. Estes recursos acompanham o andamento da atualização, a qualidade dos dados, a linhagem e as métricas de transmissão.

tópico	Descrição
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações pipeline e emita alertas sobre o sucesso ou falha. visualizar métricas para fontes de transmissão, como Apache Kafka e Auto Loader.
Registro de eventos	Extraia informações detalhadas sobre atualizações pipeline , como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos pipeline . Além disso, veja o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostique o desempenho da consulta observando a história da consulta.
Monitoramento personalizado	Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

tópico	Descrição
Recuperar um pipeline de falha no ponto de verificação de transmissão	Recuperar um pipeline que tenha um ponto de verificação de transmissão inválido ou corrompido.
Correção de altos tempos de inicialização em pipelines	Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga dos fluxos no pipeline.