Lakeflow宣言型パイプラインの監視

このセクションでは、 LakeFlow宣言型パイプラインのモニタリング機能と可観測性機能について説明します。

トピック	説明
UIを使用して監視する	パイプラインの更新の進行状況とステータス、および成功または失敗のアラートを観察します。 Apache KafkaやAuto Loaderなどのストリーミング ソースのメトリクスを表示します。
イベントログ	LakeFlow宣言型パイプライン イベント ログを使用して、データ リネージ、データ品質メトリクス、リソースの使用状況などのパイプラインの更新に関する詳細情報を抽出します。 さらに、イベント ログのスキーマも参照してください。
クエリー履歴	クエリ履歴を確認して、クエリのパフォーマンスを検査および診断します。
カスタムモニタリング	イベント フックを使用して、特定のイベントが発生したときに実行するカスタム アクションを定義します。

さらに、特定のシナリオに関するトラブルシューティングのトピックもあります。

トピック	説明
LakeFlow宣言型パイプラインをストリーミング チェックポイントの失敗から回復する	無効または破損したストリーミング チェックポイントを持つパイプラインを回復します。
LakeFlow宣言型パイプラインの初期化時間が長い問題を修正	パイプライン全体でフローを分割して負荷分散することで、パイプラインの初期化にかかる時間が長くなる問題を修正します。