RabbitMQ コネクタの制限事項

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Databricks Lakeflow Connect を使用して RabbitMQ からデータを取り込む際の制限事項と考慮事項を示します。

サポートされているデータ

RabbitMQコネクタは、1つまたは複数のRabbitMQクラシックキューからメッセージを取り込みます。queueコネクターオプションを使用して、消費するキューを指定します。各キューは、それぞれの宛先ストリーミングテーブルに取り込まれます。

コネクタ固有の制限事項

• デコードされたメッセージ本文とメタデータ列のみが宛先テーブルに書き込まれます。これら以外のブローカー内部フィールドは公開されていません。
• コネクタはユーザー名とパスワードによる認証に対応しています。その他の認証方法はサポートされていません。
• 宛先テーブルは追記専用です。アップサートと削除はサポートされていません。SCD type 1とSCD type 2は、RabbitMQ classic queues で一意のメッセージIDが保証されないため、サポートされていません。
• 各パイプラインは1つのUnity Catalog接続(1つのRabbitMQ broker)を使用します。複数のブローカーから取り込むには、個別のパイプラインを作成してください。
• RabbitMQ ストリームはサポートされていません。
• マネージドRabbitMQコネクターはサーバレス コンピュートのみで実行されます。クラシックコンピュートパイプラインはサポートされていません。
• 障害回復またはメッセージの再配信後に重複が発生する可能性があります。必要に応じて下流で重複排除します。
• 単一コンシューマーにおけるキューごとのFIFO順序は、ベストエフォートです。コネクタの並列コンシューマーにより、メッセージが順不同で届くことがあります。
• パイプラインは継続的に実行されます。Trigger.AvailableNow とワークフローベースのスケジューリングはサポートされていません。