LakeFlow 宣言型パイプラインのクエリ履歴にアクセスする
この記事では、LakeFlow宣言型パイプラインの実行に関連付けられているクエリ履歴とクエリ プロファイルにアクセスする方法について説明しま 。 この情報を使用して、クエリのデバッグ、パフォーマンスのボトルネックの特定、パイプラインの実行の最適化を行うことができます。
備考
プレビュー
この機能は パブリック プレビュー段階です。 ワークスペース管理者は、 プレビュー ページからこの機能を有効にできます。 Databricks プレビューの管理を参照してください。
必要条件
- パイプラインは、 トリガー モードで実行するように設定する必要があります。
パイプラインの更新のクエリ履歴を確認する
要件を満たすすべてのパイプラインについて、マテリアライズドビュー と ストリーミングテーブルが更新されると、クエリ ステートメントが クエリ履歴 に表示されます。 ターゲットテーブルを更新するフロー実行ごとに 1 つの REFRESH ステートメントがあります。クエリ履歴ページの コンピュート フィルターを使用すると、宣言型パイプライン コンピュートを使用して処理されたクエリのみ LakeFlow 表示できます。 クエリ履歴 UI の詳細については、「 クエリ履歴 」を参照してください。
クエリの詳細にアクセスするには、次の手順を実行します。
- サイドバー
クエリー履歴 をクリックします。 - コンピュート ドロップダウンフィルターから DLT チェックボックスを選択します。
- クエリステートメントをクリックすると、クエリの実行時間や集計されたメトリクスなどの概要の詳細が表示されます。
- [ クエリ プロファイルの表示 ] をクリックして、クエリ プロファイルを開きます。 クエリ プロファイルの詳細については、 クエリ プロファイル を参照してください。
- 必要に応じて、[ クエリ ソース ] セクションのリンクを使用して、関連するパイプラインを開きます。
ノートブックからのクエリ履歴へのアクセス
パイプラインにアタッチされたノートブック内からクエリ履歴を表示するには、次の手順に従います。
- ノートブックを開きます。ノートブックがパイプラインに接続されている場合は、パイプラインを検査するためのインターフェイスがノートブックの下部に表示されます。LakeFlow宣言型パイプラインのノートブックを使用したETL パイプラインの開発とデバッグを参照してください 。
- パイプライン クエリ履歴 タブをクリックします。
- クエリの名前をクリックすると、期間、クエリソース、その他の集計メトリクスなど、クエリの詳細が表示されます。 このビューで使用できる詳細の詳細については、「 クエリの詳細を表示する」を参照してください。
LakeFlow 宣言型パイプライン UI からのクエリ履歴へのアクセス
LakeFlow宣言型パイプラインUIの パイプラインの詳細 ページで、画面下部にある クエリ履歴 タブをクリックして、パイプラインの履歴にアクセスします。クエリの詳細パネルとプロファイルを表示するには、ステートメントをクリックします。
制限
- プロビジョニング時間とキューイング時間は使用できません。
- クエリの詳細パネルに表示されるメトリクスは、フローの実行中にライブで更新されますが、クエリプロファイルはフローの実行が完了した後にのみ更新されます。