Monitorar o oleoduto
Monitore LakeFlow Pipelines usando a interface de usuário de pipeline integrada, o log de eventos, o histórico de query e ganchos de eventos personalizados. Esses recursos rastreiam o progresso da atualização, qualidade dos dados, linhagem e métricas de transmissão.
O monitoramento de pipeline funciona em três camadas, desde uma visão rápida até queries programáticas profundas:
- A lista de Jobs e pipelines é a verificação mais rápida. Ele mostra o resultado das últimas cinco execuções como indicadores de status ao lado de cada pipeline, para que você possa saber rapidamente se as execuções recentes foram bem-sucedidas, falharam ou ainda estão em execução.
- A interface de usuário de monitoramento de pipeline mostra o gráfico de pipeline codificado por cores de acordo com o status, contagens de linhas por tabela e métricas de qualidade de dados, história de atualizações e métricas de backlog de transmissão para a atualização selecionada. Consulte Monitorar pipelines na interface do usuário.
- O log de eventos é a verdade fundamental subjacente a ambos. É uma tabela Delta estruturada que você query para qualquer finalidade programática ou histórica, como resultados de atualização, tendências de qualidade de dados e uso de recursos. Veja Log de eventos do pipeline.
Para receber alertas sobre eventos no pipeline, configure as notificações. Configure notificações diretamente em um pipeline quando ele for executado em sua própria programação ou como notificações de Job quando o pipeline for executado dentro de uma tarefa do Lakeflow. Consulte Adicionar notificações por e-mail para eventos do pipeline.
tópico | Descrição |
|---|---|
Observe o progresso e o status das atualizações pipeline e emita alertas sobre o sucesso ou falha. visualizar métricas para fontes de transmissão, como Apache Kafka e Auto Loader. | |
Extraia informações detalhadas sobre atualizações pipeline , como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos pipeline . Além disso, veja o esquema do log de eventos. | |
Inspecione e diagnostique o desempenho da consulta observando a história da consulta. | |
Defina ações personalizadas a serem tomadas quando eventos específicos ocorrerem usando ganchos de eventos. |
Além disso, há tópicos de solução de problemas para cenários específicos.
tópico | Descrição |
|---|---|
Recuperar um pipeline de falha no ponto de verificação de transmissão | Recuperar um pipeline que tenha um ponto de verificação de transmissão inválido ou corrompido. |
Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga dos fluxos no pipeline. |