パイプライン開発者リファレンス

LakeFlow Pipelinesにおけるデータロードと変換は、ストリーミングテーブルとマテリアライズドビューを定義するクエリーによって実装されます。Lakeflow pipelinesは、SQLとPythonの両方のインターフェースをサポートしています。これらのインターフェースはほとんどのデータ処理ユースケースで同等の機能を提供するため、最も使いやすいインターフェースを選択できます。選択の参考にするには、SQLとPythonのどちらかを選択するをご覧ください。

Python開発

Python コードを使用してパイプラインを作成します。

トピック	説明
Pythonでパイプラインコードを開発する	Python でのパイプラインの開発の概要。
LakeFlow Pipelines Python言語リファレンス	pipelinesモジュールの Python リファレンス ドキュメント。
パイプラインの Python 依存関係を管理する	パイプラインで Python ライブラリを管理するための手順。
Git フォルダまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に保存した Python モジュールを使用する手順。

トピック	説明
Pythonでパイプラインコードを開発する	Python でのパイプラインの開発の概要。
LakeFlow Pipelines Python言語リファレンス	pipelinesモジュールの Python リファレンス ドキュメント。
パイプラインの Python 依存関係を管理する	パイプラインで Python ライブラリを管理するための手順。
Git フォルダまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に保存した Python モジュールを使用する手順。

SQL開発

SQL コードを使用してパイプラインを作成します。

トピック	説明
SQL を使用して Lakeflow pipelines コードを開発します。	SQL でのパイプラインの開発の概要。
パイプラインSQL言語リファレンス	Lakeflow pipelines の SQL 構文に関するリファレンス ドキュメント。
スタンドアロンパイプライン	パイプラインを操作するには、Databricks SQL を使用します。

トピック	説明
SQL を使用して Lakeflow pipelines コードを開発します。	SQL でのパイプラインの開発の概要。
パイプラインSQL言語リファレンス	Lakeflow pipelines の SQL 構文に関するリファレンス ドキュメント。
スタンドアロンパイプライン	パイプラインを操作するには、Databricks SQL を使用します。

その他の開発トピック

次のトピックでは、パイプラインを開発する他の方法について説明します。

トピック	説明
パイプラインをバンドルプロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるようになり、メンテナンスが容易になり、ターゲット環境へのデプロイメントが自動化されます。
Metaprogramming with Lakeflow pipelines	dlt-meta を使用してパイプラインを作成します。オープンソースライブラリdlt-metaを使用して、メタデータ駆動型フレームワークによるパイプラインの作成を自動化します。 チュートリアル: 異なる複数のフローを作成します。 Pythonでループ内に複数のフローを作成する。
ローカル開発環境でパイプラインコードを開発する	パイプラインをローカルで開発するためのオプションの概要。

トピック	説明
パイプラインをバンドルプロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるようになり、メンテナンスが容易になり、ターゲット環境へのデプロイメントが自動化されます。
Metaprogramming with Lakeflow pipelines	dlt-meta を使用してパイプラインを作成します。オープンソースライブラリdlt-metaを使用して、メタデータ駆動型フレームワークによるパイプラインの作成を自動化します。 チュートリアル: 異なる複数のフローを作成します。 Pythonでループ内に複数のフローを作成する。
ローカル開発環境でパイプラインコードを開発する	パイプラインをローカルで開発するためのオプションの概要。