メインコンテンツまでスキップ

Lakeflow宣言型パイプラインのノートブックを使用したETLパイプラインの開発とデバッグ

備考

プレビュー

この機能は パブリック プレビュー段階です。

この記事では、Lakeflow宣言型パイプラインでノートブックを使用してETL パイプラインを開発およびデバッグする方法について説明します。

注記

このページでは、従来のノートブック編集エクスペリエンスについて説明します。間違いなく推奨されるエクスペリエンスは、 LakeFlow Pipelines Editor です。 LakeFlow Pipelines Editor を使用して、ノートブック、パイプライン用のPythonまたはSQLコード ファイルを編集できます。 詳細については、 「 LakeFlow Pipelines Editor を使用したETLパイプラインの開発とデバッグ」を参照してください。

このページで説明されているノートブック エクスペリエンスを構成するには、 LakeFlow Pipelines Editor をオフにする必要があります。 LakeFlow Pipelines Editor の有効化と更新されたモニタリングを参照してください。

Lakeflow 宣言型パイプラインのノートブックの概要​

既存のパイプラインのソース コードとして構成されている Python または SQL ノートブックで作業する場合は、ノートブックをパイプラインに直接接続できます。ノートブックがパイプラインに接続されると、次の機能が利用できるようになります。

  • ノートブックからパイプラインを開始して検証します。
  • ノートブックの最新の更新については、パイプラインのデータフロー グラフとイベント ログを表示します。
  • ノートブック エディターでパイプライン診断を表示します。
  • パイプラインのクラスターのステータスをノートブックで表示します。
  • ノートブックから Lakeflow 宣言型パイプライン UI にアクセスします。

前提条件​

  • ソース コードとして構成された Python または SQL ノートブックを含む既存のパイプラインが必要です。
  • パイプラインの所有者であるか、 CAN_MANAGE権限を持っている必要があります。

制限事項​

  • この記事で説明する機能は、Databricks ノートブックでのみ利用できます。ワークスペース ファイルはサポートされていません。
  • パイプラインに接続した場合、Webターミナルは利用できません。 その結果、下部パネルのタブとしては表示されません。

ノートブックをパイプラインに接続する​

ノートブック内で、コンピュートを選択するために使用するドロップダウンメニューをクリックします。 ドロップダウン メニューには、このノートブックをソース コードとして使用したすべての Lakeflow 宣言型パイプラインが表示されます。 ノートブックをパイプラインに接続するには、一覧からノートブックを選択します。

パイプラインのクラスターステータスを表示する​

パイプラインのクラスターの状態を簡単に理解できるように、そのステータスはコンピュートドロップダウンメニューに緑色で表示され、クラスターが実行中であることを示します。

パイプラインコードを検証する​

パイプラインを検証して、データを処理せずにソース コード内の構文エラーをチェックできます。

パイプラインを検証するには、次のいずれかを実行します。

  • ノートブックの右上隅にある 検証 をクリックします。
  • 任意のノートブックセルでShift+Enter押します。
  • セルのドロップダウンメニューで、 パイプラインの検証 をクリックします。
注記

既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。 はい をクリックすると、既存の更新が停止し、 検証 更新が自動的に開始されます。

パイプラインの更新を開始する​

パイプラインの更新を開始するには、ノートブックの右上隅にある 開始 ボタンをクリックします。「Lakeflow宣言型パイプラインでの更新の実行」を参照してください。

更新のステータスを表示する​

ノートブックの上部パネルには、パイプラインの更新が次の状態かどうかが表示されます。

  • 開始中
  • 検証中
  • 停止中

エラーと診断を表示する​

パイプラインの更新または検証を開始すると、エラーが赤い下線付きでインラインで表示されます。エラーの上にマウスを移動すると、詳細情報が表示されます。

パイプラインイベントを表示する​

パイプラインにアタッチすると、ノートブックの下部に Lakeflow 宣言型パイプライン イベント ログ タブが表示されます。

イベントログ

パイプラインの データフロー グラフを表示する​

パイプラインのデータフロー グラフを表示するには、ノートブックの下部にある Lakeflow 宣言型パイプライン グラフ タブを使用します。 グラフでノードを選択すると、そのスキーマが右側のパネルに表示されます。

データフローグラフ

ノートブックから Lakeflow 宣言型パイプライン UI にアクセスする方法​

Lakeflow 宣言型パイプライン UI に簡単にジャンプするには、ノートブックの右上隅にあるメニューを使用します。

ノートブックからLDP UIで開く

ノートブックからドライバーログと Spark UI にアクセスする​

開発中のパイプラインに関連付けられているドライバー ログと Spark UI には、ノートブックの 表示 メニューから簡単にアクセスできます。

ドライバーログとSpark UIにアクセスする

に最終更新