Lakeflow Spark宣言型パイプラインチュートリアル

これらのチュートリアルでは、Lakeflow Spark宣言型パイプライン（SDP）を使用して、最初のパイプラインから、CDCを含むETL、地理空間データの取り込み、ソース管理されたバンドルまで、パイプラインを構築する実用的な経験を積むことができます。

Lakeflow Spark宣言型パイプラインを使ってみる

トピック	説明
チュートリアル: Lakeflow Spark宣言型パイプラインを使用してETLパイプラインを構築する	このチュートリアルでは、データオーケストレーションと Auto Loader 用のシンプルな ETL (抽出、変換、読み込み) パイプラインを作成およびデプロイする方法を示します。

チュートリアル

トピック	説明
チュートリアル: LakeFlow Pipelines Editor を使用して最初のパイプラインを作成する	このチュートリアルでは、新しいパイプラインで作成されたサンプル コードを拡張して、最初のパイプラインを作成する手順を説明します。
チュートリアル: チェンジデータキャプチャを使用してETLパイプラインを構築する	このチュートリアルでは、データオーケストレーション用のSDPとAuto Loaderを使用して、チェンジデータキャプチャ (CDC) でETLパイプラインを作成およびデプロイする手順について説明します。
Databricks SQL での ETL	このチュートリアルでは、ストリーミング テーブル、 AUTO CDC 、およびマテリアライズドビューを使用して、 Databricks SQLで増分ETLパイプラインを構築する手順を説明します。
チュートリアル: ネイティブ空間タイプを使用して地理空間パイプラインを構築する	このチュートリアルでは、GPS データを取り込み、座標をネイティブ空間タイプに変換し、SDP と Auto Loader を使用してウェアハウスのジオフェンスに結合する地理空間パイプラインの構築について説明します。
ソース管理されたパイプラインを作成する	このチュートリアルでは、宣言型自動化バンドルとGitフォルダを使用して、ソースコード管理されたパイプラインを作成する方法を説明します。
パイプラインをバンドルプロジェクトに変換する	このチュートリアルでは、既存のパイプラインを宣言型自動化バンドルプロジェクトに変換し、メンテナンスの簡素化と対象環境への自動デプロイを実現する方法を説明します。