Kafkaコネクター

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

LakeFlow Connect のマネージド Kafka コネクタを使用すると、Apache Kafka トピックから Databricks のストリーミングテーブルにデータを取り込むことができます。

Kafkaコネクタコンポーネント

コンポーネント	説明
接続	Kafkaクラスターのブートストラップサーバーアドレスと認証資格情報を保存するUnity Catalogのセキュリティ保護可能なオブジェクト。マネージドKafkaコネクターは、パイプライン構成に資格情報を必要とせずに、この接続を使用して認証します。
取り込みパイプライン	1つまたは複数のKafkaトピックから継続的に読み取り、その結果をストリーミングテーブルに書き込むパイプラインです。パイプラインはサーバレスコンピュートで実行されます。
宛先テーブル	取り込み パイプラインがデータを書き込むストリーミングテーブル。

Apache Kafkaからのインジェストを開始します

次の表に、ユーザータイプに基づいたエンドツーエンドの Kafka インジェストフローの概要を示します。

ユーザー	ステップ
管理	Catalog Explorer を使用して接続を作成することで、USE CONNECTION または ALL PRIVILEGES の権限を持つ任意のユーザーがパイプラインを作成できます。Kafka接続の作成を参照してください。
管理者以外	サポートされている任意のインターフェイスを使用して、既存の接続からパイプラインを作成します。Apache Kafka からのデータ取り込みを参照してください。

機能の利用可能状況

機能	可用性
UI ベースのパイプライン オーサリング	サポートされていません（ベータ版）
API ベースのパイプライン オーサリング	サポートされています
宣言型オートメーションバンドル	サポートされています
継続的ストリーミング取り込み	サポートされています
Unity Catalog ガバナンス	サポートされています
Databricks Workflowsによるオーケストレーション	サポートされていない
SCDタイプ2	サポートされていない
列の選択と選択解除	サポートされていません（ベータ版）
行フィルター	サポートされていない
自動スキーマ進化：新しいカラム	サポートされています
自動スキーマ進化: データ型の変更	サポートされていない
自動スキーマ進化：列の名前変更	サポートされていない

認証方法

認証方法	可用性
ユーザー名とパスワード	サポートされています
サービス資格情報	サポートされています
OAuth U2M	サポートされていない
OAuth M2M	サポートされていない