パイプライン開発者リファレンス

データの読み込みと変換は、ストリーミングテーブルとマテリアライズドビューを定義するクエリによって、Lakeflow Spark宣言型パイプラインで実装されます。Lakeflow Spark宣言型パイプラインはSQLおよびPythonインターフェイスをサポートしています。これらはほとんどのデータ処理ユースケースに同等の機能を提供するので、最も使いやすいインターフェースを選択できます。決定に役立つ情報については、「SQL と Python のどちらを選択するか」を参照してください。

Python開発

Python コードを使用してパイプラインを作成します。

トピック	説明
Pythonでパイプラインコードを開発する	Python でのパイプラインの開発の概要。
Lakeflow Spark宣言型パイプラインPython言語リファレンス	pipelinesモジュールの Python リファレンス ドキュメント。
パイプラインの Python 依存関係を管理する	パイプラインで Python ライブラリを管理するための手順。
Git フォルダまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に保存した Python モジュールを使用する手順。

SQL開発

SQL コードを使用してパイプラインを作成します。

トピック	説明
SQLを使用してLakeFlow Spark宣言型パイプライン コードを開発する	SQL でのパイプラインの開発の概要。
パイプラインSQL言語リファレンス	Lakeflow Spark宣言型パイプラインのSQL構文のリファレンス ドキュメント。
スタンドアロンパイプライン	パイプラインを操作するには、Databricks SQL を使用します。

その他の開発トピック

次のトピックでは、パイプラインを開発する他の方法について説明します。

トピック	説明
パイプラインをバンドルプロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるようになり、メンテナンスが容易になり、ターゲット環境へのデプロイメントが自動化されます。
LakeFlow Spark宣言型パイプラインを使用したメタプログラミング	dlt-meta を使用してパイプラインを作成します。オープンソースライブラリdlt-metaを使用して、メタデータ駆動型フレームワークによるパイプラインの作成を自動化します。 チュートリアル: 異なる複数のフローを作成します。 Pythonでループ内に複数のフローを作成する。
ローカル開発環境でパイプラインコードを開発する	パイプラインをローカルで開発するためのオプションの概要。