Limitations du connecteur RabbitMQ

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cette page répertorie les limites et les considérations relatives à l'ingestion de données depuis RabbitMQ à l'aide de Databricks Lakeflow Connect.

Données prises en charge

Le connecteur RabbitMQ ingère des messages depuis une ou plusieurs files d'attente classiques RabbitMQ. Vous spécifiez la file d'attente à consommer à l'aide de l'option de connecteur queue. Chaque file d'attente est ingérée dans sa propre table de streaming de destination.

Limitations spécifiques au connecteur

• Seuls le corps de message décodé et les colonnes de métadonnées sont écrits dans la table de destination. Les champs internes du courtier au-delà de ceux-ci ne sont pas exposés.
• Le connecteur prend en charge l'authentification par nom d'utilisateur et mot de passe. Les autres méthodes d'authentification ne sont pas prises en charge.
• Les tables de destination sont en ajout seul. Les upserts et les suppressions ne sont pas pris en charge. Les SCD de type 1 et SCD de type 2 ne sont pas pris en charge, car les files d'attente classiques RabbitMQ ne fournissent pas d'ID de message unique garanti.
• Chaque pipeline utilise une seule connexion Unity Catalog (un broker RabbitMQ). Pour ingérer à partir de plusieurs brokers, créez des pipelines distincts.
• Les Stream RabbitMQ ne sont pas pris en charge.
• Le connecteur RabbitMQ géré s'exécute exclusivement sur le compute Serverless. Les pipelines Classic compute ne sont pas pris en charge.
• Des doublons peuvent survenir après une reprise après défaillance ou une nouvelle livraison de message. Éliminez les doublons en aval si nécessaire.
• L'ordre FIFO par file d'attente est une solution au mieux avec un seul consommateur. Avec les consommateurs parallèles du connecteur, les messages peuvent arriver dans le désordre.
• Le pipeline s’exécute en continu. Trigger.AvailableNow et la planification basée sur les workflows ne sont pas pris en charge.