ETL Declarative パイプラインのノートブックを使用した LakeFlow パイプラインの開発とデバッグ
プレビュー
この機能は パブリック プレビュー段階です。
この記事では、宣言型パイプラインでノートブックを使用してLakeFlowETL パイプラインを開発およびデバッグする方法について説明します。これは、 LakeFlow 宣言型パイプラインのデフォルト開発エクスペリエンスです。
LakeFlow宣言型パイプラインのマルチファイル・エディターを構成した場合は、宣言型パイプラインのマルチファイル・エディターを使用したETLパイプラインの開発とデバッグLakeFlowを参照してください。
LakeFlow Declarative パイプラインのノートブックの概要
既存のパイプラインのソース コードとして構成されている Python または SQL ノートブックで作業する場合は、ノートブックをパイプラインに直接接続できます。ノートブックがパイプラインに接続されている場合、次の機能を使用できます。
- ノートブックからパイプラインを開始して検証します。
- パイプラインのデータフロー グラフとイベント ログを表示して、ノートブックの最新の更新プログラムを確認します。
- パイプライン診断をノートブック エディターで表示します。
- パイプラインのクラスターのステータスをノートブックで表示します。
- ノートブックから LakeFlow Declarative パイプライン UI にアクセスします。
前提 条件
- Python または SQL ノートブックがソース コードとして構成された既存のパイプラインが必要です。
- パイプラインの所有者であるか、
CAN_MANAGE権限を持っている必要があります。
制限
- この記事で説明する機能は、Databricks ノートブックでのみ使用できます。 ワークスペースファイルはサポートされていません。
- Webターミナルは、パイプラインに接続されている場合は使用できません。 そのため、下部パネルにタブとして表示されません。
ノートブックをパイプラインに接続する
ノートブック内で、コンピュートを選択するために使用するドロップダウンメニューをクリックします。 ドロップダウン メニューには、このノートブックをソース コードとして使用したすべての LakeFlow Declarative パイプラインが表示されます。 ノートブックをパイプラインに接続するには、一覧からノートブックを選択します。
パイプラインのクラスターステータスを表示する
パイプラインのクラスターの状態を簡単に理解できるように、そのステータスはコンピュートドロップダウンメニューに緑色で表示され、クラスターが実行中であることを示します。
パイプライン コードの検証
パイプラインを検証して、データを処理せずにソース コード内の構文エラーをチェックできます。
パイプラインを検証するには、次のいずれかの操作を行います。
- ノートブックの右上隅にある 検証 をクリックします。
- ノートブックのセルで
Shift+Enterキーを押します。 - セルのドロップダウンメニューで、[ パイプラインの検証] をクリックします。
既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。 はい をクリックすると、既存の更新が停止し、 検証 更新が自動的に開始されます。
パイプラインの更新を開始する
パイプラインの更新を開始するには、ノートブックの右上隅にある [開始 ] ボタンをクリックします。「宣言型パイプラインでの更新の実行」を参照してくださいLakeFlow。
更新のステータスを表示する
ノートブックの上部パネルには、パイプラインの更新が次のいずれであるかが表示されます。
- 開始中
- 検証中
- 停止中
エラーと診断を表示する
パイプラインの更新または検証を開始すると、エラーは赤い下線でインラインで表示されます。 エラーにカーソルを合わせると、詳細情報が表示されます。
パイプライン イベントの表示
パイプラインにアタッチすると、ノートブックの下部に LakeFlow Declarative パイプライン イベント ログ タブが表示されます。
パイプラインの データフロー グラフを表示する
パイプラインのデータフロー グラフを表示するには、ノートブックの下部にある LakeFlow Declarative パイプライン グラフ タブを使用します。 グラフでノードを選択すると、そのスキーマが右側のパネルに表示されます。
ノートブックから LakeFlow Declarative パイプライン UI にアクセスする方法
LakeFlow Declarative パイプライン UI に簡単にジャンプするには、ノートブックの右上隅にあるメニューを使用します。
ノートブックからドライバー ログと Spark UI にアクセスする
開発中のパイプラインに関連付けられているドライバー ログと Spark UI には、ノートブックの [表示 ] メニューから簡単にアクセスできます。
