Connecteurs de streaming gérés
Databricks Lakeflow Connect fournit des connecteurs de streaming entièrement managés pour l’ingestion continue de données provenant de bus de messages et de sources d’événements de streaming vers des tables de streaming. Chaque connecteur gère l’authentification spécifique à la source, le décodage des messages et la gestion du cycle de vie du pipeline via une configuration déclarative, de sorte que vous n’avez pas besoin d’écrire directement du code Structured Streaming.
Connecteurs pris en charge
-
- RabbitMQ
- Stream messages des files d'attente classiques RabbitMQ dans des tables de streaming.
Composants de connecteur
Un connecteur de streaming a les composantes suivantes :
Composant | Description |
|---|---|
Connexion | Un objet sécurisable Unity Catalog qui stocke l'Endpoint source et les justificatifs d'authentification pour votre source de streaming. Le connecteur géré utilise cette connexion pour s'authentifier sans nécessiter de justificatifs dans la configuration de votre pipeline. |
pipeline d'ingestion | Un pipeline qui lit en continu les messages de la source de streaming et écrit les résultats dans des tables de streaming. Le pipeline s'exécute sur le compute Serverless. |
Tables de destination | Les tables de streaming où le pipeline d'ingestion écrit les données. |