Kafkaコネクタの制限

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Databricks Lakeflow Connectを使用してApache Kafkaからデータを取り込む際の制限事項と考慮事項を示します。

サポートされているデータ

Kafkaコネクタは、1つまたは複数のKafkaトピックからデータを取り込みます。コネクタオプションtopicsまたはtopic_patternを使用して、取り込むトピックを指定します。Kafka接続を通じてアクセス可能なトピックはすべて取り込むことができます。

コネクタ固有の制限事項

• メタデータ列は利用できません ：キーと値の列のみが宛先テーブルに書き込まれます。ベータ版では、topic、partition、offset、timestamp、timestampType、およびheadersを含むKafkaメタデータ列は宛先テーブルで利用できません。
• **追記専用テーブル**：宛先テーブルは追記専用です。アップサートと削除はサポートされていません。
• **パイプラインごとに1つのクラスター**: 各パイプラインは、単一のUnity Catalog接続（1つのKafkaクラスター）を使用します。複数のKafkaクラスターからインジェストするには、個別のパイプラインを作成します。
• サーバレスコンピュートのみ ：マネージドKafkaコネクタは、サーバレスコンピュート上でのみ動作します。クラシックコンピュートパイプラインはサポートされていません。
• UI ベースのパイプライン作成はできません ：ベータ版では、Databricks UI を介したパイプライン作成はサポートされていません。Declarative Automation Bundles または Databricks ノートブックを使用してください。
• 列の選択または選択解除なし : 特定の列の選択または選択解除は、ベータ版ではサポートされていません。
• UI ベースのパイプライン作成はできません ：行レベルのフィルター処理はサポートされていません。
• No SCD type 2 ：宛先テーブルは追記専用であるため、SCDタイプ2の履歴追跡はサポートされていません。
• **名前が変更された列のスキーマ進化なし**：列の名前変更は追跡されません。ソースで名前が変更された列は、宛先では新しい列として扱われます。
• **Databricks Workflows を使用したオーケストレーションなし**：パイプラインは継続的に実行されます。ワークフローベースのスケジューリングはサポートされていません。