スタンドアロンパイプライン
LakeFlow Pipelinesは、パイプラインでデータを操作するための最も一般的な方法です。シンプルなクエリー構文を使用して、LakeFlow Pipelines の外部でスタンドアロンのマテリアライズドビューとストリーミングテーブルを定義することもでき、Databricksが基盤となるパイプラインを管理します。スタンドアロンテーブルは、Databricks SQL warehouseから、またはServerless汎用コンピュートで実行されているノートブックから作成および更新できます。
スタンドアロンテーブルと Lakeflow パイプラインのどちらを選択するかは、スタンドアロンパイプラインと Lakeflow パイプラインの比較を参照してください。
このセクションは以前は「Databricks SQL のパイプライン」と呼ばれていました。Databricks SQLウェアハウスに加えて、サーバレス 一般コンピュート上で動作するノートブックからスタンドアロンのマテリアライズドビューとストリーミング テーブルを作成するための新しいサポートを反映するために、名前が「 Databricks SQLパイプライン」に変更されました。
このセクションでは、スタンドアロンパイプラインの使用方法について、以下のトピックを含めて説明します。
トピック | 説明 |
|---|---|
機能のサポートや地域での利用可能性など、スタンドアロンのマテリアライズドビューとストリーミング テーブルのコンピュート オプションについて説明します。 | |
ストリーミングテーブルの作成、更新、構成、および監視を行います。 | |
マテリアライズドビューの作成、更新、およびクエリを実行します。 |
ノートブックからPythonを使用してスタンドアロンのマテリアライズドビューとストリーミングテーブルを作成および更新するには、「スタンドアロンパイプラインでPythonを使用する」を参照してください。