Lakeflowコネクトの標準コネクタ
このページでは、 Databricks Lakeflow Connectの標準コネクタについて説明し、マネージド コネクタと比較してより高いレベルのインジェスト パイプラインのカスタマイズを提供します。
ETLスタックのレイヤー
一部のコネクタは、ETL スタックの1つのレベルで動作します。たとえば、Databricks は Salesforce のようなエンタープライズアプリケーションや SQL Server のようなデータベース用のフルマネージドコネクタを提供しています。その他のコネクタは、ETL スタックの複数のレイヤーで動作します。たとえば、完全なカスタマイズには Structured Streaming で標準コネクタを使用し、より管理されたエクスペリエンスには LakeFlow Pipelines を使用できます。
Databricks では、最も管理されたレイヤーから始めることをお勧めします。要件を満たさない場合 (たとえば、データソースをサポートしていない場合) は、次のレイヤーにドロップダウンします。
次の表では、インジェスト製品の 3 つのレイヤーを、最もカスタマイズ可能なものから最も管理しやすいものの順に説明しています。
層 | 説明 |
|---|---|
Apache Spark 構造化ストリーミングは、 Spark APIsを使用した exactly-once 処理保証を備えたエンドツーエンドのフォールト トレランスを提供するストリーミング エンジンです。 | |
LakeFlow PipelinesはStructured Streamingを拡張し、データパイプラインを作成するための宣言型フレームワークを提供します。データに対して実行する変換を定義でき、LakeFlow Pipelinesはオーケストレーション、モニタリング、データ品質、エラーなどを管理します。これらはStructured Streamingよりも、より多くの自動化と少ないオーバーヘッドを提供します。 | |
フルマネージド コネクタはLakeFlow Pipelinesに基づいて構築されており、最も一般的なデータソースに対してさらに多くの自動化を提供します。これらは、LakeFlow Pipelines機能を拡張し、ソース固有の認証、CDC、エッジケース処理、長期APIメンテナンス、自動再試行、自動スキーマ進化などを含みます。したがって、これらにより、サポートされているあらゆるデータソースに対してさらに多くの自動化が提供されます。 |
コネクタを選択する
次の表に、データソースとパイプラインのカスタマイズのレベル別の標準インジェスト コネクタを示します。 完全に自動化されたインジェスト エクスペリエンスを実現するには、代わりに マネージド コネクタ を使用します。
クラウドオブジェクトストレージからの増分取り込みの SQL 例では CREATE STREAMING TABLE 構文を使用します。SQL ユーザーにスケーラブルで堅牢なインジェスト エクスペリエンスを提供するため、 COPY INTOの代替手段として推奨されます。
ソース | その他のカスタマイズ | いくつかのカスタマイズ | さらなる自動化 |
|---|---|---|---|
クラウドオブジェクトストレージ |
| Auto Loader with LakeFlow Pipelines
|
|
SFTPサーバー | (Python、SQL) | N/A | N/A |
Apache Kafka |
| Kafkaソースを使用するLakeFlow Pipelines
|
|
Google Pub/Sub |
| LakeFlow Pipelines with Pub/Subソース
|
|
Apache パルサー |
| Pulsar ソースを使用したLakeFlow Pipelines
|
|
Pythonインジェスト スケジュール
インジェスト パイプラインは、定期的なスケジュールで実行するか、継続的に実行するように構成できます。