パイプラインを監視する

このセクションでは、 Lakeflow Spark宣言型パイプラインのモニタリング機能と可観測性機能について説明します。

トピック	説明
UIを使用して監視する	パイプラインの更新の進行状況とステータス、および成功または失敗のアラートを観察します。 Apache KafkaやAuto Loaderなどのストリーミング ソースのメトリクスを表示します。
イベントログ	パイプライン イベント ログを使用して、データ リネージ、データ品質メトリクス、リソース使用量などのパイプラインの更新に関する詳細情報を抽出します。 さらに、イベント ログのスキーマも参照してください。
クエリー履歴	クエリ履歴を確認して、クエリのパフォーマンスを検査および診断します。
カスタムモニタリング	イベント フックを使用して、特定のイベントが発生したときに実行するカスタム アクションを定義します。

さらに、特定のシナリオに関するトラブルシューティングのトピックもあります。

トピック	説明
ストリーミング チェックポイントの障害からパイプラインを回復する	無効または破損したストリーミング チェックポイントを持つパイプラインを回復します。
パイプラインの初期化時間の長さを修正	パイプライン全体でフローを分割して負荷分散することで、パイプラインの初期化にかかる時間が長くなる問題を修正します。