Monitorar o pipeline declarativo LakeFlow

Esta seção descreve o recurso de monitoramento e observabilidade para o pipeline declarativo LakeFlow .

tópico	Descrição
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações pipeline e emita alertas sobre o sucesso ou falha. visualizar métricas para fontes de transmissão, como Apache Kafka e Auto Loader.
Registro de eventos	Extraia informações detalhadas sobre atualizações pipeline , como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos declarativo do pipeline LakeFlow . Além disso, veja o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostique o desempenho da consulta observando a história da consulta.
Monitoramento personalizado	Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

tópico	Descrição
Recuperar um pipeline declarativo LakeFlow de falha no ponto de verificação de transmissão	Recuperar um pipeline que tenha um ponto de verificação de transmissão inválido ou corrompido.
Corrigindo altos tempos de inicialização no pipeline declarativo LakeFlow	Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga dos fluxos no pipeline.