Surveiller les pipelines
Surveillez les LakeFlow Pipelines à l'aide de l'interface utilisateur de pipeline intégrée, du Log d'événements, de l'historique des query et des crochets d'événements personnalisés. Ces fonctionnalités suivent la progression des mises à jour, la qualité des données, le lignage et les métriques de streaming.
Le monitoring du pipeline fonctionne en trois couches, d’un coup d’œil rapide aux requêtes programmatiques approfondies :
- La liste des Jobs et pipelines est le moyen le plus rapide de vérifier. Il affiche le résultat des cinq dernières exécutions sous forme d'indicateurs d'état à côté de chaque pipeline, afin que vous puissiez savoir en un coup d'œil si les exécutions récentes ont réussi, échoué ou sont toujours en cours.
- L’ interface utilisateur de monitoring du pipeline affiche le Graphe du pipeline avec un code couleur par statut, le nombre de lignes par table et les métriques de qualité des données, l’historique des mises à jour et les métriques de backlog de streaming pour la mise à jour sélectionnée. Consultez Monitor pipelines in the UI.
- Le event log est la vérité terrain sous-jacente aux deux. Il s’agit d’une table Delta structurée que vous query pour tout élément programmatique ou historique, tel que les résultats de mise à jour, les tendances de qualité des données et l’utilisation des ressources. Voir Pipeline event Logs.
Pour être alerté des événements du pipeline, configurez les notifications. Configurez les notifications directement sur un pipeline lorsqu'il s'exécute selon son propre calendrier, ou en tant que notifications de job lorsque le pipeline s'exécute au sein d'un Lakeflow Job. Voir Ajouter des notifications par e-mail pour les événements de pipeline.
Sujet | Description |
|---|---|
Observez la progression et le statut des mises à jour du pipeline, et soyez alerté en cas de succès ou d'échec. Consultez les métriques pour les sources de streaming, comme Apache Kafka et Auto Loader. | |
Extrayez des informations détaillées sur les mises à jour de pipeline telles que le data lineage, les métriques de qualité des données et l'utilisation des ressources à l'aide du log d'événements du pipeline. De plus, consultez le schéma des Logs d'événements. | |
Inspectez et diagnostiquez les performances des query en consultant l'historique des query. | |
Définissez des actions personnalisées à prendre lorsque des événements spécifiques se produisent à l'aide de crochets d'événement. |
De plus, il existe des sujets de dépannage pour des scénarios spécifiques.
Sujet | Description |
|---|---|
Récupérer un pipeline après un échec de point de contrôle de streaming | Récupérer un pipeline qui a un point de contrôle de streaming invalide ou corrompu. |
Résoudre les temps d'initialisation élevés dans les pipelines | Corrigez les temps d'initialisation élevés pour un pipeline en divisant et en équilibrant la charge des flux entre les pipelines. |