Pular para o conteúdo principal

Monitorar LakeFlow Pipeline declarativo

Esta seção descreve o recurso de monitoramento e observabilidade para o pipeline declarativo do LakeFlow.

tópico

Descrição

Monitore usando a interface do usuário

Observe o progresso e o status das atualizações d pipeline e seja notificado sobre o sucesso ou falha. Visualize as métricas para fontes de transmissão, como Apache, Kafka e Auto Loader.

Registro de eventos

Extraia informações detalhadas sobre atualizações do pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos, utilizando o evento de pipeline declarativo LakeFlow log.

Além disso, consulte o esquema para o log de eventos.

Histórico de consultas

Inspecione e diagnostique o desempenho da consulta observando o histórico da consulta.

Monitoramento personalizado

Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos.