ストリーミングコネクタ
Databricks Lakeflow Connect には、メッセージバスやイベントストリーミングソースからストリーミングテーブルへデータを継続的に取り込むためのフルマネージド型ストリーミングコネクタが用意されています。各マネージドコネクタは、ソースごとの認証、メッセージのデコード、および宣言型構成によるパイプラインのライフサイクル管理を処理するため、Structured Streaming コードを直接記述する必要はありません。マネージド コネクタのないソースの場合、Structured Streaming または Lakeflow pipelines を使用して直接ストリーミングできます。
マネージド ストリーミングコネクタ
他のソースからのストリーム
Amazon Kinesis、Google Pub/Sub、Apache Pulsar など、マネージドコネクタのないストリーミングソースについては、Structured Streaming または Lakeflow pipelines を使用して直接ストリーミングできます。マネージド Kafka コネクタが提供するものよりも Stream の読み取りや処理を細かく制御する必要がある場合（カスタムオフセット処理やバッチごとの変換など）、Structured Streaming を使用して Apache Kafka から直接読み取ることもできます。ソースおよびパイプラインのカスタマイズレベルに基づいてコネクタを選択するには、標準コネクタの選択を参照してください。
コネクターコンポーネント
ストリーミングコネクタには、以下のコンポーネントがあります。
コンポーネント | 説明 |
|---|---|
接続 | ストリーミングソースのソースエンドポイントと認証資格情報を格納する、Unity Catalog のセキュリティ保護可能なオブジェクトです。マネージド コネクタは、パイプライン構成で資格情報を必要とせずに、この接続を使用して認証を行います。 |
取り込みパイプライン | ストリーミングソースからメッセージを継続的に読み取り、結果をストリーミングテーブルに書き込むパイプライン。パイプラインはサーバレスコンピュートで実行されます。 |
宛先テーブル | 取り込み パイプラインがデータを書き込むストリーミングテーブル。 |