Opções de monitoramento e observabilidade para os pipelines do Delta Live Tables

Este artigo apresenta os recursos incluídos no Delta Live Tables compatíveis monitoramento, à geração de relatórios e à auditoria de seus pipelines, além de gerar alertas e notificações para eventos de pipeline.

O Delta Live Tables contém vários recursos para apoiar o monitoramento e a observabilidade de pipelines. Esses recursos são compatíveis com tarefas como:

  • Observar o progresso e o status das atualizações do pipeline.

  • Alertas para eventos de pipeline, como sucesso ou falha de atualizações de pipeline.

  • Extrair informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos.

  • Definir ações personalizadas a serem executadas quando ocorrerem eventos específicos.

Os artigos desta seção são referências detalhadas para ajudar você a utilizar efetivamente esses recursos para monitorar seus pipelines do Delta Live Tables.

Monitore pipelines com a interface de usuário e os registros do Delta Live Tables

Utilize a interface de usuário de detalhes do pipeline para consultar o status e o progresso das atualizações do pipeline, um histórico de atualizações e detalhes sobre os dataset em um pipeline. Para tarefas mais avançadas de relatórios e auditoria, utilize o log do Delta Live Tables.

Consulte Monitorar pipelines do Delta Live Tables.

Implemente o monitoramento personalizado dos pipelines do Delta Live Tables com ganchos de eventos (versão prévia pública)

Você pode utilizar ganchos de eventos para implementar monitoramento e alertas personalizados para pipelines. Por exemplo, você pode utilizar ganchos de eventos para enviar e-mails ou gravar em um log quando ocorrerem eventos específicos ou integrar com soluções de terceiros. Ganchos de eventos são funções de retorno de chamada Python personalizadas executadas quando os eventos são persistidos no log de eventos de um pipeline Delta Live Tables.

Consulte Definir monitoramento personalizado de pipelines do Delta Live Tables com ganchos de eventos.