Connecteur RabbitMQ

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Le connecteur RabbitMQ géré dans Lakeflow Connect vous permet de streamer des messages des files d'attente classiques RabbitMQ dans les tables de streaming dans Databricks. Le connecteur fournit une sémantique de livraison au moins une fois et gère l'authentification, le décodage des messages, l'acquittement et la gestion du cycle de vie du pipeline, de sorte que vous n'avez pas besoin d'écrire directement du code Structured Streaming.

Composants du connecteur RabbitMQ

Composant	Description
Connexion	Un objet sécurisable Unity Catalog qui stocke l'Endpoint du courtier et les identifiants d'authentification de votre courtier RabbitMQ. Le connecteur RabbitMQ géré utilise cette connexion pour s'authentifier sans nécessiter de justificatifs dans la configuration de votre pipeline.
pipeline d'ingestion	Un pipeline qui consomme en continu des messages d'une ou plusieurs files d'attente classiques RabbitMQ et écrit les résultats dans des tables de streaming. Le pipeline s'exécute sur du compute serverless.
Tables de destination	Les tables de streaming où le pipeline d'ingestion écrit les données.

Composant	Description
Connexion	Un objet sécurisable Unity Catalog qui stocke l'Endpoint du courtier et les identifiants d'authentification de votre courtier RabbitMQ. Le connecteur RabbitMQ géré utilise cette connexion pour s'authentifier sans nécessiter de justificatifs dans la configuration de votre pipeline.
pipeline d'ingestion	Un pipeline qui consomme en continu des messages d'une ou plusieurs files d'attente classiques RabbitMQ et écrit les résultats dans des tables de streaming. Le pipeline s'exécute sur du compute serverless.
Tables de destination	Les tables de streaming où le pipeline d'ingestion écrit les données.

Start ingesting from RabbitMQ

Le tableau suivant fournit un aperçu du flux d'ingestion de RabbitMQ de bout en bout, basé sur le type d'utilisateur :

Utilisateur	Étapes
Admin	Utilisez l'Explorateur de catalogues pour créer une connexion afin que tout utilisateur disposant de USE CONNECTION ou ALL PRIVILEGES puisse créer des pipelines. Consultez Créer une connexion RabbitMQ.
Non-administrateur	Utilisez toute interface prise en charge pour créer un pipeline à partir d'une connexion existante. Consultez Ingérer des données de RabbitMQ.

Utilisateur	Étapes
Admin	Utilisez l'Explorateur de catalogues pour créer une connexion afin que tout utilisateur disposant de USE CONNECTION ou ALL PRIVILEGES puisse créer des pipelines. Consultez Créer une connexion RabbitMQ.
Non-administrateur	Utilisez toute interface prise en charge pour créer un pipeline à partir d'une connexion existante. Consultez Ingérer des données de RabbitMQ.

Disponibilité des fonctionnalités

Fonctionnalité	Disponibilité
Conception de pipelines via l'interface utilisateur	Non pris en charge (bêta)
Création de pipeline par API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion en streaming continue	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration à l'aide de Databricks Workflows	Non pris en charge
SCD de type 2	Non pris en charge
Sélection et désélection de colonne	Non pris en charge (bêta)
Filtrage des lignes	Non pris en charge

Fonctionnalité	Disponibilité
Conception de pipelines via l'interface utilisateur	Non pris en charge (bêta)
Création de pipeline par API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion en streaming continue	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration à l'aide de Databricks Workflows	Non pris en charge
SCD de type 2	Non pris en charge
Sélection et désélection de colonne	Non pris en charge (bêta)
Filtrage des lignes	Non pris en charge

Méthodes d'authentification

Méthode d'authentification	Disponibilité
Nom d'utilisateur et mot de passe	Pris en charge
Identifiant de service	Non pris en charge
OAuth U2M	Non pris en charge
OAuth M2M	Non pris en charge

Méthode d'authentification	Disponibilité
Nom d'utilisateur et mot de passe	Pris en charge
Identifiant de service	Non pris en charge
OAuth U2M	Non pris en charge
OAuth M2M	Non pris en charge