Connecteur Kafka.

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Le connecteur Kafka géré dans Lakeflow Connect vous permet d'ingérer des données de sujets Apache Kafka dans des tables de streaming dans Databricks.

Vous pouvez également acheminer des enregistrements d'une seule source Kafka vers plusieurs tables de destination en fonction d'une clé de routage par enregistrement (diffusion en éventail, en avant-première privée). Voir Acheminer les enregistrements vers plusieurs tables (diffusion en éventail).

Composants du connecteur Kafka

Composant	Description
Connexion	Un objet sécurisable Unity Catalog qui stocke l'adresse du serveur d'amorçage et les informations d'identification d'authentification pour votre cluster Kafka. Le connecteur Kafka géré utilise cette connexion pour s'authentifier sans nécessiter d'identifiants dans la configuration de votre pipeline.
pipeline d'ingestion	Un pipeline qui lit en continu à partir d'un ou plusieurs sujets Kafka et écrit les résultats dans des tables de streaming. Le pipeline s'exécute sur du compute serverless.
Tables de destination	Les tables de streaming où le pipeline d'ingestion écrit les données.

Composant	Description
Connexion	Un objet sécurisable Unity Catalog qui stocke l'adresse du serveur d'amorçage et les informations d'identification d'authentification pour votre cluster Kafka. Le connecteur Kafka géré utilise cette connexion pour s'authentifier sans nécessiter d'identifiants dans la configuration de votre pipeline.
pipeline d'ingestion	Un pipeline qui lit en continu à partir d'un ou plusieurs sujets Kafka et écrit les résultats dans des tables de streaming. Le pipeline s'exécute sur du compute serverless.
Tables de destination	Les tables de streaming où le pipeline d'ingestion écrit les données.

Start ingesting from Apache Kafka

Le tableau suivant fournit un aperçu du flux d'ingestion Kafka de bout en bout, basé sur le type d'utilisateur :

Utilisateur	Étapes
Admin	Utilisez l'Explorateur de catalogues pour créer une connexion afin que tout utilisateur disposant de USE CONNECTION ou ALL PRIVILEGES puisse créer des pipelines. Consultez Créer une connexion Kafka.
Non-administrateur	Utilisez toute interface prise en charge pour créer un pipeline à partir d'une connexion existante. Voir Ingérer des données d'Apache Kafka.

Utilisateur	Étapes
Admin	Utilisez l'Explorateur de catalogues pour créer une connexion afin que tout utilisateur disposant de USE CONNECTION ou ALL PRIVILEGES puisse créer des pipelines. Consultez Créer une connexion Kafka.
Non-administrateur	Utilisez toute interface prise en charge pour créer un pipeline à partir d'une connexion existante. Voir Ingérer des données d'Apache Kafka.

Disponibilité des fonctionnalités

Fonctionnalité	Disponibilité
Conception de pipelines via l'interface utilisateur	Non pris en charge (bêta)
Création de pipeline par API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion en streaming continue	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration à l'aide de Databricks Workflows	Non pris en charge
SCD de type 2	Non pris en charge
Sélection et désélection de colonne	Non pris en charge (bêta)
Filtrage des lignes	Non pris en charge
Évolution des schémas automatisée : Nouvelles colonnes	Pris en charge
Évolution automatisée des schémas : changements de type de données	Non pris en charge
évolution des schémas automatisée : Renommage de colonnes	Non pris en charge

Fonctionnalité	Disponibilité
Conception de pipelines via l'interface utilisateur	Non pris en charge (bêta)
Création de pipeline par API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion en streaming continue	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration à l'aide de Databricks Workflows	Non pris en charge
SCD de type 2	Non pris en charge
Sélection et désélection de colonne	Non pris en charge (bêta)
Filtrage des lignes	Non pris en charge
Évolution des schémas automatisée : Nouvelles colonnes	Pris en charge
Évolution automatisée des schémas : changements de type de données	Non pris en charge
évolution des schémas automatisée : Renommage de colonnes	Non pris en charge

Méthodes d'authentification

Méthode d'authentification	Disponibilité
Nom d'utilisateur et mot de passe	Pris en charge
Identifiant de service	Pris en charge
OAuth U2M	Non pris en charge
OAuth M2M	Non pris en charge

Méthode d'authentification	Disponibilité
Nom d'utilisateur et mot de passe	Pris en charge
Identifiant de service	Pris en charge
OAuth U2M	Non pris en charge
OAuth M2M	Non pris en charge