Référence du connecteur RabbitMQ

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cette page contient la documentation de référence pour le connecteur RabbitMQ géré dans Lakeflow Connect.

Options du connecteur

Les options suivantes configurent la source RabbitMQ pour chaque table de destination dans le pipeline d'ingestion. Spécifiez ces options sous connector_options.rabbitmq_options dans votre définition de pipeline. Consultez Exemples pour obtenir des exemples de pipelines complets.

Option	Type	Par défaut	Description
queue	Chaîne	—	(Obligatoire) Nom de la file classique RabbitMQ à consommer.

Option	Type	Par défaut	Description
queue	Chaîne	—	(Obligatoire) Nom de la file classique RabbitMQ à consommer.

Propriétés de connexion

Lorsque vous créez la connexion Unity Catalog RabbitMQ dans Catalog Explorer, vous devez spécifier les propriétés suivantes. Consultez Créer une connexion RabbitMQ pour connaître les étapes de création de connexion.

Propriété	Description
Nom de la connexion	Un nom unique pour la connexion dans Unity Catalog.
Type de connexion	Sélectionner RabbitMQ .
Hôte	Le Hostname du broker RabbitMQ.
Nom d'utilisateur	Le nom d’utilisateur utilisé pour l’authentification auprès du broker RabbitMQ.
Mot de passe	Le mot de passe utilisé pour s'authentifier auprès du broker RabbitMQ.
Hôte virtuel	L'hôte virtuel du broker RabbitMQ. L'hôte virtuel default est /.
Port	Le port du broker RabbitMQ. Le port default est 5672.

Propriété	Description
Nom de la connexion	Un nom unique pour la connexion dans Unity Catalog.
Type de connexion	Sélectionner RabbitMQ .
Hôte	Le Hostname du broker RabbitMQ.
Nom d'utilisateur	Le nom d’utilisateur utilisé pour l’authentification auprès du broker RabbitMQ.
Mot de passe	Le mot de passe utilisé pour s'authentifier auprès du broker RabbitMQ.
Hôte virtuel	L'hôte virtuel du broker RabbitMQ. L'hôte virtuel default est /.
Port	Le port du broker RabbitMQ. Le port default est 5672.

Schéma de table de destination

Le connecteur RabbitMQ écrit dans des tables de streaming (en ajout seul). By default, chaque table de destination contient une seule colonne :

Colonne	Type	Description
body	BINARY	Le contenu binaire brut du corps du message RabbitMQ. Le connecteur ne décode ni ne désérialise le corps pendant l'ingestion. Décodez-le en aval si nécessaire.

Colonne	Type	Description
body	BINARY	Le contenu binaire brut du corps du message RabbitMQ. Le connecteur ne décode ni ne désérialise le corps pendant l'ingestion. Décodez-le en aval si nécessaire.

Inclure les métadonnées source

Pour capturer également les métadonnées des messages RabbitMQ, définissez l'option source_metadata_column dans table_configuration de la table de destination. Lorsqu'il est défini, le connecteur ajoute une colonne struct portant ce nom aux côtés de body, contenant les champs suivants :

Champ	Type	Description
exchange	STRING	L’échange auquel le message a été publié.
routing_key	STRING	La clé de routage avec laquelle le message a été publié.
queue	STRING	La file d'attente à partir de laquelle le message a été consommé.
redelivered	BOOLEAN	true si le message a été relivré après un échec d'accusé de réception.
message_id	STRING	L’identifiant de message défini par le producteur, s’il est présent.
correlation_id	STRING	L’ID de corrélation défini par le producteur, s’il est présent.
content_type	STRING	Le type de contenu défini par le producteur, s'il est présent.
content_encoding	STRING	L’encodage de contenu défini par le producteur, si présent.
timestamp	BIGINT	Le message du producteur, si présent, Timestamp.
headers	MAP<STRING, STRING>	Les en-têtes de message définis par le producteur, s'ils sont présents.

Champ	Type	Description
exchange	STRING	L’échange auquel le message a été publié.
routing_key	STRING	La clé de routage avec laquelle le message a été publié.
queue	STRING	La file d'attente à partir de laquelle le message a été consommé.
redelivered	BOOLEAN	true si le message a été relivré après un échec d'accusé de réception.
message_id	STRING	L’identifiant de message défini par le producteur, s’il est présent.
correlation_id	STRING	L’ID de corrélation défini par le producteur, s’il est présent.
content_type	STRING	Le type de contenu défini par le producteur, s'il est présent.
content_encoding	STRING	L’encodage de contenu défini par le producteur, si présent.
timestamp	BIGINT	Le message du producteur, si présent, Timestamp.
headers	MAP<STRING, STRING>	Les en-têtes de message définis par le producteur, s'ils sont présents.

Le nom que vous choisissez ne doit pas être body (la colonne de sortie réservée), ne doit pas être vide, et ne doit pas contenir d’espace ni aucun des caractères ,;{}(), une nouvelle ligne, un tab ou =. Lorsque source_metadata_column n’est pas réglé, le connecteur n’écrit que la colonne body .

Pour un exemple de pipeline, voir Pipeline avec les métadonnées sources.