Surveiller les pipelines
Surveillez les LakeFlow Pipelines à l'aide de l'interface utilisateur de pipeline intégrée, du Log d'événements, de l'historique des query et des crochets d'événements personnalisés. Ces fonctionnalités suivent la progression des mises à jour, la qualité des données, le lignage et les métriques de streaming.
Sujet | Description |
|---|---|
Observez la progression et le statut des mises à jour du pipeline, et soyez alerté en cas de succès ou d'échec. Consultez les métriques pour les sources de streaming, comme Apache Kafka et Auto Loader. | |
Extrayez des informations détaillées sur les mises à jour de pipeline telles que le data lineage, les métriques de qualité des données et l'utilisation des ressources à l'aide du log d'événements du pipeline. De plus, consultez le schéma des Logs d'événements. | |
Inspectez et diagnostiquez les performances des query en consultant l'historique des query. | |
Définissez des actions personnalisées à prendre lorsque des événements spécifiques se produisent à l'aide de crochets d'événement. |
De plus, il existe des sujets de dépannage pour des scénarios spécifiques.
Sujet | Description |
|---|---|
Récupérer un pipeline après un échec de point de contrôle de streaming | Récupérer un pipeline qui a un point de contrôle de streaming invalide ou corrompu. |
Résoudre les temps d'initialisation élevés dans les pipelines | Corrigez les temps d'initialisation élevés pour un pipeline en divisant et en équilibrant la charge des flux entre les pipelines. |