DLT のノートブックを使用した ETL パイプラインの開発とデバッグ
プレビュー
この機能は パブリック プレビュー段階です。
この記事では、DLT のノートブックを使用して ETL パイプラインを開発およびデバッグする方法について説明します。これは、 DLTでのデフォルトの開発エクスペリエンスです。
DLT のマルチファイル エディターを構成した場合は、「 DLT のマルチファイル エディターを使用した ETL パイプラインの開発とデバッグ」を参照してください。
DLT のノートブックの概要
既存の DLT パイプラインのソース コードとして構成されている Python または SQL ノートブックで作業する場合は、ノートブックをパイプラインに直接接続できます。ノートブックがパイプラインに接続されている場合、次の機能を使用できます。
- ノートブックからパイプラインを開始して検証します。
- パイプラインのデータフロー グラフとイベント ログを表示して、ノートブックの最新の更新プログラムを確認します。
- パイプライン診断をノートブック エディターで表示します。
- パイプラインのクラスターのステータスをノートブックで表示します。
- ノートブックから DLT UI にアクセスします。
前提 条件
- Python または SQL ノートブックがソース コードとして構成された既存の DLT パイプラインが必要です。
- パイプラインの所有者であるか、
CAN_MANAGE権限を持っている必要があります。
制限
- この記事で説明する機能は、Databricks ノートブックでのみ使用できます。 ワークスペースファイルはサポートされていません。
- Webターミナルは、パイプラインに接続されている場合は使用できません。 そのため、下部パネルにタブとして表示されません。
ノートブックを DLT パイプラインに接続する
ノートブック内で、コンピュートを選択するために使用するドロップダウンメニューをクリックします。 ドロップダウン メニューには、このノートブックをソース コードとして使用したすべての DLT パイプラインが表示されます。ノートブックをパイプラインに接続するには、一覧からノートブックを選択します。
パイプラインのクラスターステータスを表示する
パイプラインのクラスターの状態を簡単に理解できるように、そのステータスはコンピュートドロップダウンメニューに緑色で表示され、クラスターが実行中であることを示します。
パイプライン コードの検証
パイプラインを検証して、データを処理せずにソース コード内の構文エラーをチェックできます。
パイプラインを検証するには、次のいずれかの操作を行います。
- ノートブックの右上隅にある 検証 をクリックします。
- ノートブックのセルで
Shift+Enterキーを押します。 - セルのドロップダウンメニューで、 パイプラインの検証 をクリックします。
既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。 はい をクリックすると、既存の更新が停止し、 検証 更新が自動的に開始されます。
パイプラインの更新を開始する
パイプラインの更新を開始するには、ノートブックの右上隅にある 開始 ボタンをクリックします。 DLT パイプラインで更新プログラムを実行するを参照してください。
更新のステータスを表示する
ノートブックの上部パネルには、パイプラインの更新が次のいずれであるかが表示されます。
- 開始中
- 検証中
- 停止中
エラーと診断を表示する
パイプラインの更新または検証を開始すると、エラーは赤い下線でインラインで表示されます。 エラーにカーソルを合わせると、詳細情報が表示されます。
パイプライン イベントの表示
パイプラインにアタッチすると、ノートブックの下部に DLT イベント ログ タブが表示されます。
パイプラインの データフロー グラフを表示する
パイプラインのデータフロー グラフを表示するには、ノートブックの下部にある [DLT グラフ] タブを使用します。グラフでノードを選択すると、そのスキーマが右側のパネルに表示されます。
ノートブックから DLT UI にアクセスする方法
DLT UI に簡単にジャンプするには、ノートブックの右上隅にあるメニューを使用します。
ノートブックからドライバー ログと Spark UI にアクセスする
開発中のパイプラインに関連付けられているドライバー ログと Spark UI には、ノートブックの 表示 メニューから簡単にアクセスできます。
