パイプラインを監視する
組み込みのパイプラインUI、イベントLog、クエリー履歴、およびカスタムイベントフックを使用してLakeFlow Pipelinesを監視します。これらの機能は、更新の進行状況、データ品質、リネージ、およびストリーミングメトリクスを追跡します。
パイプラインのモニタリングは、一目で確認できるものから詳細なプログラムによるクエリーまで、3つのレイヤーで機能します：
- ジョブとパイプラインリスト が最も迅速な確認方法です。各パイプラインの横に直近5回のランの結果がステータスインジケーターとして表示されるため、最近のランが成功したか、失敗したか、現在も実行中かを一目で確認できます。
- パイプライン モニタリング UI には、ステータスごとに色分けされたパイプライン グラフ、テーブルごとの行数とデータ品質メトリクス、更新履歴、および選択した更新のストリーミング バックログ メトリクスが表示されます。「UI でのパイプラインの監視」を参照してください。
- イベント ログ は、両者の基盤となるグラウンドトゥルースです。これは、更新結果、データ品質の傾向、リソース使用状況など、プログラムによる処理や履歴に関するあらゆる情報をクエリーするための構造化された Delta テーブルです。「パイプライン イベント Logs」を参照してください。
パイプラインイベントに関するアラートを通知するには、通知を構成します。パイプラインが独自のスケジュールで実行される場合はパイプラインで直接通知を設定し、パイプラインが LakeFlow Job 内で実行される場合は ジョブ通知として設定します。パイプラインイベントのEメール通知の追加を参照してください。
トピック | 説明 |
|---|---|
パイプラインの更新の進行状況とステータス、および成功または失敗のアラートを観察します。 Apache KafkaやAuto Loaderなどのストリーミング ソースのメトリクスを表示します。 | |
パイプライン イベント ログを使用して、データ リネージ、データ品質メトリクス、リソース使用量などのパイプラインの更新に関する詳細情報を抽出します。 さらに、イベント ログのスキーマも参照してください。 | |
クエリ履歴を確認して、クエリのパフォーマンスを検査および診断します。 | |
イベント フックを使用して、特定のイベントが発生したときに実行するカスタム アクションを定義します。 |
さらに、特定のシナリオに関するトラブルシューティングのトピックもあります。
トピック | 説明 |
|---|---|
無効または破損したストリーミング チェックポイントを持つパイプラインを回復します。 | |
パイプライン全体でフローを分割して負荷分散することで、パイプラインの初期化にかかる時間が長くなる問題を修正します。 |