ローカル開発環境で Delta Live Tables パイプラインコードを開発する

Python パイプラインのソースコードは、お好みの統合開発環境 (IDE) で作成できます。

IDE で記述された Delta Live Tables コードの更新を検証したり、実行したりすることはできません。ソースコードファイルを Databricks ワークスペースにデプロイし直し、Delta Live Tables パイプラインの一部として構成する必要があります。

この記事では、ローカル IDE 開発のサポートの概要について説明します。よりインタラクティブな開発とテストのために、Databricks ではノートブックの使用をお勧めします。ノートブックでの Delta Live Tables パイプラインの開発とデバッグを参照してください。

パイプライン開発用のローカル IDE の構成

Databricks は、PyPI を通じて配布されるローカル開発用の Python モジュールを提供します。インストールと使用方法については、Delta Live Tables の Python スタブを参照してください。

このモジュールには、Delta Live Tables Python インターフェイスのインターフェイスと docstring 参照があり、IDE でコードを記述するときに構文チェック、オートコンプリート、データ型チェックを提供します。

このモジュールにはインターフェイスが含まれていますが、機能的な実装はありません。このライブラリを使用して、Delta Live Tables パイプラインをローカルで作成または実行することはできません。

Databricks Asset Bundle を使用して、ソースコードと構成をパッケージ化してターゲットワークスペースにデプロイし、この方法で構成されたパイプラインで更新の実行をトリガーできます。 Delta Live Tables パイプラインを Databricks Asset Bundle プロジェクトに変換するを参照してください。

Visual Studio Code の Databricks 拡張機能には、Databricks アセットバンドルを使用してパイプラインを操作するための追加機能があります。バンドル・リソース・エクスプローラーを参照してください。

IDE からワークスペースへのパイプラインコードの同期

次の表は、ローカル IDE と Databricks ワークスペース間でパイプラインのソースコードを同期するためのオプションをまとめたものです。

ツールまたはパターン	詳細
Databricksアセットバンドル	Databricks Asset Bundles を使用して、単一のソースコードファイルから複数のパイプライン、ジョブ、ソースコードファイルの設定まで、さまざまな複雑さのパイプラインアセットをデプロイします。Delta Live Tables パイプラインを Databricks Asset Bundle プロジェクトに変換するを参照してください。
DatabricksのVisual Studio Code拡張機能	Databricks は、ローカル IDE とワークスペースファイル間の簡単な同期を含む Visual Studio Code との統合を提供します。この拡張機能には、Databricks Asset Bundles を使用してパイプラインアセットをデプロイするためのツールも用意されています。 Visual Studio Code の Databricks 拡張機能とはを参照してください。
ワークスペースファイル	Databricks ワークスペースファイルを使用して、パイプラインのソースコードを Databricks ワークスペースにアップロードし、そのコードをパイプラインにインポートできます。ワークスペースファイルとはを参照してください。
Gitフォルダ	Git フォルダーを使用すると、Git リポジトリを仲介として使用して、ローカル環境と Databricks ワークスペース間でコードを同期できます。 Databricks Git フォルダーの Git 統合を参照してください。