パイプラインを監視する

組み込みのパイプラインUI、イベントログ、クエリ履歴、およびカスタムイベントフックを使用して、LakeFlow Spark宣言型パイプラインを監視します。これらの機能は、更新の進捗、データ品質、リネージ、およびストリーミングメトリクスを追跡します。

トピック	説明
UIを使用して監視する	パイプラインの更新の進行状況とステータス、および成功または失敗のアラートを観察します。 Apache KafkaやAuto Loaderなどのストリーミング ソースのメトリクスを表示します。
イベントログ	パイプライン イベント ログを使用して、データ リネージ、データ品質メトリクス、リソース使用量などのパイプラインの更新に関する詳細情報を抽出します。 さらに、イベント ログのスキーマも参照してください。
クエリー履歴	クエリ履歴を確認して、クエリのパフォーマンスを検査および診断します。
カスタムモニタリング	イベント フックを使用して、特定のイベントが発生したときに実行するカスタム アクションを定義します。

さらに、特定のシナリオに関するトラブルシューティングのトピックもあります。

トピック	説明
ストリーミング チェックポイントの障害からパイプラインを回復する	無効または破損したストリーミング チェックポイントを持つパイプラインを回復します。
パイプラインの初期化時間が長い問題を修正	パイプライン全体でフローを分割して負荷分散することで、パイプラインの初期化にかかる時間が長くなる問題を修正します。