メインコンテンツまでスキップ
に最終更新

ビジュアルデータ準備ファイルを本番運用に移動

Lakeflow Designerで作成するビジュアルデータ準備ファイルはすべて、本番運用対応のコードに支えられ、<name>.designer.ipynbという名前のノートブックとして保存されます。他のDatabricksコードに使用するのと同じツールで本番運用に移行できます。Gitに保存し、ジョブとして実行し、宣言型自動化バンドルでデプロイできます。

このページでは、ビジュアルデータ準備ファイルをプロトタイプから本番運用に移行する方法について説明します。

Gitでの保存とバージョン管理​

ワークスペースはビジュアルデータ準備ファイルをネイティブに格納します。ビジュアルデータ準備ファイルをバージョン管理するには、Gitフォルダーに配置し、他のノートブックと同様に追跡します。

  1. ワークスペースにGitフォルダーを作成する。
  2. その Git フォルダーにビジュアルデータ準備ファイルを移動します。
  3. Gitの他のノートブックと同様に、ファイルを追跡、commit、およびバージョン管理します。Gitでは、ファイルは<file_name>.designer.ipynbとして表示されます。

Gitフォルダーの詳細については、Databricks Git foldersを参照してください。ビジュアルデータ準備ファイルをエクスポートまたはインポートするには、ビジュアルデータ準備ファイルをエクスポートおよびインポートするを参照してください。

ジョブとしてスケジュール​

ビジュアルデータ準備ファイルをジョブとしてスケジュールすることで自動化できます。

  • 直接スケジュール ：視覚的なデータ準備ファイル用にスケジュールされたジョブを作成するには、上部メニューの スケジュール ボタンをクリックします。
  • ジョブに追加 ：Databricksジョブを作成し、ビジュアルデータ準備ファイルをタスクとして追加します。これにより、そのビジュアルデータ準備ファイルを、より大規模なパイプライン内の他のタスクと組み合わせることができます。[タスク タイプ ] ドロップダウンで、[ ビジュアルデータ準備 ] を選択し、ファイルを選択します。

スケジュールされたランでは、各オペレーターがジョブタスクグラフの個々のノードとして表示されるため、キャンバス上で行うのと同様に、ラン中のオペレーターごとの結果を検査できます。

既存のスケジュールを表示および管理するには、 スケジュール をもう一度クリックしてリストを開きます。別のスケジュールを作成するには、 スケジュールを追加 をクリックするか、スケジュールの ケバブメニューアイコン。 ケバブメニューを開いて 編集 、 今すぐ実行 、 停止する 、 複製 、 ジョブで表示 、または 削除 します。

実行中の演算子出力を表示​

デフォルトでは、スケジュールされたランは、ターミナル演算子（下流接続のない演算子）にのみ出力を生成します。出力演算子などです。ラン内のすべての演算子の結果を確認するには、スケジュールダイアログで「詳細設定」を展開し、「オペレーター出力の表示」を選択します。

LFDスケジュールコントロールは、ジョブとしてビジュアルデータ準備ファイルを自動化するためのものです。

ラン出力サイズ制限を超過しないように、大規模なキャンバスではこのオプションを無効にしてください。

Serverless環境を選択します​

ビジュアルデータ準備ファイルを使用する場合、対話型ランとスケジュールされたジョブの両方に使用されるServerless 環境を選択できます。右サイドバーの 環境アイコン。 環境 サイドペインから、ノートブックと同様に構成してください。 基本環境 で、環境バージョンを選択してください。「Serverless 環境を構成する」を参照してください。

環境全体でパラメータ化​

パラメーター は、SQL および Python オペレーターから参照できる、ビジュアルデータ準備ファイル全体に対して定義される名前付きの値です。パラメーターの定義と参照の詳細については、パラメーターを参照してください。

パラメーターを使用すると、開発中のテストカタログや本番運用の本番カタログなど、異なる環境に対して同じビジュアルデータ準備ファイルを実行できます。

  • UIでジョブをスケジュールする場合 ：各スケジュールのパラメーター値を上書きします。たとえば、environmentパラメーターがtestに設定された状態で実行されるスケジュールを1つ作成し、productionに設定された状態で実行される別のスケジュールを作成します。
  • バンドルでデプロイする場合 : ジョブの parameters を介してパラメータ値を設定し、バンドルターゲットを使用して環境ごとに異なる値を指定します。バンドルの開発および本番運用環境ターゲットにより、同じジョブを環境固有の設定で個別の環境にデプロイできます。Declarative Automation Bundles デプロイモード および Declarative Automation Bundles 構成を参照してください。

ランタイム時、ビジュアルデータ準備ファイルは、対話形式で実行されるか、ジョブとして実行されるかにかかわらず、同じ方法でパラメーターを読み取るため、同じファイルが変更なしですべての環境で機能します。

環境ごとに異なるテーブルから読み取る​

各環境で異なるソーステーブルから読み取るには、固定のソース演算子の代わりに、パラメーターを持つSQL演算子を使用します。catalog、schema、およびtableパラメーターを定義し、それらをIDENTIFIER()句で参照してテーブル名を動的に構築します。

SQL
SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

スケジュールまたはバンドルのターゲットごとに、catalog、schema、またはtableパラメーターをオーバーライドし、開発中はテストデータに、本番運用中は本番データに同じビジュアルデータ準備ファイルを指定します。IDENTIFIER()句の詳細については、IDENTIFIER句を参照してください。

宣言型オートメーションバンドルでデプロイする​

宣言型オートメーションバンドルを使用すると、ジョブなどのDatabricksリソースをソースファイルとして定義およびデプロイできるため、ソース管理、コードレビュー、テスト、CI/CDなどのソフトウェアエンジニアリングのベストプラクティスをビジュアルデータ準備ファイルに適用できます。宣言型オートメーションバンドルとはを参照してください。

バンドルを使用してビジュアルデータ準備ファイルをデプロイするには、ノートブックタスクを定義し、notebook_task.notebook_pathで.designer.ipynbファイルパスを参照します。バンドルでは、ジョブUIでは**ビジュアルデータ準備**タスクタイプとして表示されますが、ビジュアルデータ準備ファイルはnotebook_task キーを使用します。

次の例では、バンドル構成ファイルの隣にあるビジュアルデータ準備ファイルを実行するジョブを定義しています。

YAML
resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Databricks CLI を使用してバンドルをデプロイおよび実行します。

Bash
databricks bundle deploy
databricks bundle run daily_prep_job

ノートブックタスクキーの完全なセットについては、「ノートブックタスク」を参照してください。バンドルでのジョブの定義に関する完全な手順については、「Declarative Automation Bundles を使用したジョブの開発」を参照してください。

CI/CDで自動化​

ビジュアルデータ準備バンドルを自動的に検証およびデプロイするには、CI/CDパイプラインに統合します。GitHub Actionsを使用する例については、GitHub Actionsを参照してください。

その他のリソース​

このページの見出し