ノートブックで Delta Live Tables パイプラインを開発およびデバッグする

プレビュー

Delta Live Tables 開発のノートブック エクスペリエンスはパブリック プレビュー段階です。

この記事では、Delta Live Tables コードの開発とデバッグを支援する Databricks ノートブックの機能について説明します。

機能の概要

既存の Delta Live Tables パイプラインのソース コードである Python または SQL ノートブックで作業する場合、ノートブックをパイプラインに直接接続できます。 ノートブックがパイプラインに接続されると、次の機能が利用できるようになります。

  • ノートブックからパイプラインを開始して検証します。

  • ノートブックの最新の更新については、パイプラインのデータフロー グラフとイベント ログを表示します。

  • ノートブック エディターでパイプライン診断を表示します。

  • ノートブックでパイプラインのクラスターのステータスを表示します。

  • ノートブックから Delta Live Tables UI にアクセスします。

前提条件

  • ソース コードとして Python または SQL ノートブックを含む既存の Delta Live Tables パイプラインが必要です。

  • パイプラインの所有者であるか、 CAN_MANAGE権限を持っている必要があります。

制限事項

  • この記事で説明する機能は、Databricks ノートブックでのみ使用できます。 ワークスペース ファイルはサポートされていません。

  • Web ターミナルは、パイプラインに接続されている場合には使用できません。 その結果、下部パネルのタブとしては表示されません。

ノートブックを Delta Live Tables パイプラインに接続する

デル内で、コンピュートを選択するためのドロップダウン メニューをクリックします。 ドロップダウン メニューには、このノートブックをソース コードとして含むすべての Delta Live Tables パイプラインが表示されます。 ノートブックをパイプラインに接続するには、リストからノートブックを選択します。

パイプラインのクラスターステータスを表示する

パイプラインの クラスター の状態を簡単に理解できるように、そのステータスは、 クラスターが実行中であることを示す緑色で [コンピュート] ドロップダウン メニューに表示されます。

パイプラインコードを検証する

パイプラインを検証して、データを処理せずにソース コードの構文エラーをチェックできます。

パイプラインを検証するには、次のいずれかを実行します。

  • ノートブックの右上隅にある[検証]をクリックします。

  • 任意のノートブックのセルでShift+Enterを押します。

  • セルのドロップダウン メニューで、 [パイプラインの検証] をクリックします。

注:

既存の更新が既に実行されているときにパイプラインを検証しようとすると、既存の更新を終了するかどうかを尋ねるダイアログ ボックスが表示されます。

パイプラインを開始する

パイプライン更新では、クラスターを開始し、定義されているすべてのテーブルとビューを検出して検証し、利用可能な最新のデータを使用してテーブルとビューを作成または更新します。

パイプラインの更新を開始するには、ノートブックの右上隅にある[開始]ボタンをクリックします。

はい」をクリックすると、既存の更新が停止し、更新の 検証 が自動的に開始されます。

更新プログラムの状態を表示する

ノートブックの上部パネルには、パイプラインの更新が次の状態かどうかが表示されます。

  • 開始中

  • 検証中

  • 停止中

エラーと診断の表示

パイプラインが開始または検証された後、エラーは赤い下線付きでインラインで表示されます。 エラーの上にマウスを置くと、詳細情報が表示されます。

パイプラインイベントの表示

パイプラインに接続すると、ノートブックの下部に Delta Live Tables イベント ログ タブが表示されます。

イベントLog

パイプラインデータフローグラフを表示する

パイプラインのデータフロー グラフを表示するには、ノートブックの下部にある [ Delta Live Tablesグラフ タブを使用します。 グラフでノードを選択すると、そのスキーマが右側のパネルに表示されます。

データフローグラフ

ノートブックから Delta Live Tables UI にアクセスする方法

Delta Live Tables UI に簡単にジャンプするには、ノートブックの右上隅にあるメニューを使用します。

ノートブックからDLT UIで開く

ノートブックからドライバーログとSpark UIにアクセスする

開発中のパイプラインに関連付けられたドライバー ログと Spark UI には、ノートブックの[表示]メニューから簡単にアクセスできます。

ドライバーのログと Spark UI にアクセスする