Monitorar LakeFlow Pipeline declarativo

Esta seção descreve o recurso de monitoramento e observabilidade para o pipeline declarativo do LakeFlow.

tópico	Descrição
Monitore usando a interface do usuário	Observe o progresso e o status das atualizações d pipeline e seja notificado sobre o sucesso ou falha. Visualize as métricas para fontes de transmissão, como Apache, Kafka e Auto Loader.
Registro de eventos	Extraia informações detalhadas sobre atualizações do pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos, utilizando o evento de pipeline declarativo LakeFlow log. Além disso, consulte o esquema para o log de eventos.
Histórico de consultas	Inspecione e diagnostique o desempenho da consulta observando o histórico da consulta.
Monitoramento personalizado	Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

tópico	Descrição
Recuperar um pipeline declarativo LakeFlow de falha no ponto de verificação de transmissão	Recuperar um pipeline que tenha um ponto de verificação de transmissão inválido ou corrompido.
Corrigindo altos tempos de inicialização no pipeline declarativo LakeFlow	Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga dos fluxos no pipeline.