メインコンテンツまでスキップ
に最終更新

ノートブックを使用してパイプラインを開発およびデバッグする（レガシー）

備考

プレビュー

この機能は パブリック プレビュー段階です。

LakeFlow Pipelinesのレガシーノートブック編集エクスペリエンスを使用して、パイプラインに接続されたDatabricksノートブックからETLパイプラインを開発およびデバッグできます。

重要

このページでは、従来のノートブック編集機能について説明します。この機能は有効化できなくなり、 以前にLakeFlow Pipelinesエディターをオプトアウトしたユーザーのみが利用できます。 ノートブックの編集機能は非推奨となり、今後削除されます。

間違いなく体験できるのは、 LakeFlow Pipelines Editor です。 LakeFlow Pipelines Editor を使用して、ノートブック、パイプライン用のPythonまたはSQLコード ファイルを編集します。 詳細については、 「 LakeFlow Pipelines Editor を使用したETLパイプラインの開発とデバッグ」を参照してください。

パイプラインのノートブックの概要​

既存のパイプラインのソース コードとして構成されている Python または SQL ノートブックで作業する場合は、ノートブックをパイプラインに直接接続できます。ノートブックがパイプラインに接続されると、次の機能が利用できるようになります。

  • ノートブックからパイプラインを開始して検証します。
  • ノートブックの最新の更新については、パイプラインのデータフロー グラフとイベント ログを表示します。
  • ノートブック エディターでパイプライン診断を表示します。
  • パイプラインのクラスターのステータスをノートブックで表示します。
  • ノートブックからパイプライン UI にアクセスします。

前提条件​

  • ソース コードとして構成された Python または SQL ノートブックを含む既存のパイプラインが必要です。
  • パイプラインの所有者であるか、 CAN_MANAGE権限を持っている必要があります。

制限事項​

  • この記事で説明する機能は、Databricks ノートブックでのみ利用できます。ワークスペース ファイルはサポートされていません。
  • パイプラインに接続した場合、Webターミナルは利用できません。 その結果、下部パネルのタブとしては表示されません。

ノートブックをパイプラインに接続する​

ノートブック内で、コンピュートを選択するために使用するドロップダウンメニューをクリックします。ドロップダウンメニューには、このノートブックをソースコードとして含むすべてのパイプラインが表示されます。ノートブックをパイプラインに接続するには、一覧からノートブックを選択します。

パイプラインのクラスターステータスを表示する​

パイプラインのクラスターの状態を簡単に理解できるように、そのステータスはコンピュートドロップダウンメニューに緑色で表示され、クラスターが実行中であることを示します。

パイプラインコードを検証する​

パイプラインを検証して、データを処理せずにソース コード内の構文エラーをチェックできます。

パイプラインを検証するには、次のいずれかを実行します。

  • ノートブックの右上隅にある 検証 をクリックします。
  • 任意のノートブックセルでShift+Enter押します。
  • セルのドロップダウンメニューで、 パイプラインの検証 をクリックします。
注記

既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。 はい をクリックすると、既存の更新が停止し、 検証 更新が自動的に開始されます。

パイプラインの更新を開始する​

パイプラインの更新を開始するには、ノートブックの右上隅にある [ 開始] ボタンをクリックします。「パイプラインの更新を実行する」を参照してください。

更新のステータスを表示する​

ノートブックの上部パネルには、パイプラインの更新が次の状態かどうかが表示されます。

  • 開始中
  • 検証中
  • 停止中

エラーと診断を表示する​

パイプラインの更新または検証を開始すると、エラーが赤い下線付きでインラインで表示されます。エラーの上にマウスを移動すると、詳細情報が表示されます。

パイプラインイベントを表示する​

パイプラインにアタッチすると、ノートブックの下部にパイプライン イベント ログ tab が表示されます。

イベントログ

パイプラインの データフロー グラフを表示する​

パイプラインのデータフロー グラフを表示するには、ノートブックの下部にあるパイプライン グラフのtabを使用します。グラフ内のノードを選択すると、右側のパネルにそのスキーマが表示されます。

データフローグラフ

ノートブックからパイプライン UI にアクセスする方法​

パイプライン UI に簡単に移動するには、ノートブックの右上隅にあるメニューを使用します。

ノートブックからパイプライン UI で開く

ノートブックからドライバーログと Spark UI にアクセスする​

開発中のパイプラインに関連付けられているドライバー ログと Spark UI には、ノートブックの 表示 メニューから簡単にアクセスできます。

ドライバーログとSpark UIにアクセスする

このページの見出し