パイプライン開発者リファレンス

このセクションには、パイプライン開発者向けのリファレンスと手順が記載されています。

データの読み込みと変換は、ストリーミングテーブルとマテリアライズドビューを定義するクエリによってパイプラインに実装されます。 これらのクエリを実装するために、 Lakeflow Spark宣言型パイプラインはSQLおよびPythonインターフェイスをサポートしています。 これらのインターフェースはほとんどのデータ処理ユースケースに同等の機能を提供するため、パイプライン開発者は最も使いやすいインターフェースを選択できます。

Python開発

Python コードを使用してパイプラインを作成します。

トピック	説明
Pythonでパイプラインコードを開発する	Python でのパイプラインの開発の概要。
Lakeflow Spark宣言型パイプラインPython言語リファレンス	pipelinesモジュールの Python リファレンス ドキュメント。
パイプラインの Python 依存関係を管理する	パイプラインで Python ライブラリを管理するための手順。
Git フォルダまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に保存した Python モジュールを使用する手順。

SQL開発

SQL コードを使用してパイプラインを作成します。

トピック	説明
SQLを使用してパイプラインコードを開発する	SQL でのパイプラインの開発の概要。
パイプラインSQL言語リファレンス	Lakeflow Spark宣言型パイプラインのSQL構文のリファレンス ドキュメント。
Databricks SQLでパイプラインを使用する	パイプラインを操作するには、Databricks SQL を使用します。

その他の開発トピック

次のトピックでは、パイプラインを開発する他の方法について説明します。

トピック	説明
パイプラインを Databricks Asset Bundle プロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるようになり、メンテナンスが容易になり、ターゲット環境へのデプロイメントが自動化されます。
dlt-metaでパイプラインを作成する	オープンソースのdlt-metaライブラリを使用して、メタデータ駆動型フレームワークによるパイプラインの作成を自動化します。
ローカル開発環境でパイプラインコードを開発する	パイプラインをローカルで開発するためのオプションの概要。