Connecteur Cribl

info

Bêta

Cette fonctionnalité est en version Bêta. Pour l'utiliser, un administrateur de workspace doit activer Lakeflow Connect for Cribl depuis la page Previews . Consultez Gérer les aperçus Databricks.

Le connecteur Cribl géré dans Lakeflow Connect ingère la configuration, le statut du worker, les métadonnées de l’organisation ainsi que les logs d’audit et d’accès du Leader depuis Cribl.Cloud vers Databricks.

Disponibilité de la fonctionnalité

Fonctionnalité	Disponibilité
Création de pipelines basée sur l’interface utilisateur	pris en charge
Création de pipeline par API	pris en charge
Declarative Automation Bundles	pris en charge
Ingestion incrémentielle	pris en charge
Gouvernance Unity Catalog	pris en charge
Orchestration avec Databricks Workflows	pris en charge
Sélection et désélection de colonnes basée sur l’API	pris en charge
Filtrage de ligne basé sur l'API	Non pris en charge
SCD de type 2	pris en charge Les tables avec des colonnes VARIANT (workers, pipelines, sources, destinations, parsers, breakers, collectors, packs, inputs_status, outputs_status, functions, api_credentials, audit_log, access_log) ne prennent pas en charge le SCD de type 2.
Évolution des schémas automatisée : nouvelles colonnes et colonnes supprimées	pris en charge
Évolution des schémas automatisée : modifications des types de données	Non pris en charge
Évolution des schémas automatisée : renommage des colonnes	Non pris en charge Nécessite une refresh complète.

Fonctionnalité	Disponibilité
Création de pipelines basée sur l’interface utilisateur	pris en charge
Création de pipeline par API	pris en charge
Declarative Automation Bundles	pris en charge
Ingestion incrémentielle	pris en charge
Gouvernance Unity Catalog	pris en charge
Orchestration avec Databricks Workflows	pris en charge
Sélection et désélection de colonnes basée sur l’API	pris en charge
Filtrage de ligne basé sur l'API	Non pris en charge
SCD de type 2	pris en charge Les tables avec des colonnes VARIANT (workers, pipelines, sources, destinations, parsers, breakers, collectors, packs, inputs_status, outputs_status, functions, api_credentials, audit_log, access_log) ne prennent pas en charge le SCD de type 2.
Évolution des schémas automatisée : nouvelles colonnes et colonnes supprimées	pris en charge
Évolution des schémas automatisée : modifications des types de données	Non pris en charge
Évolution des schémas automatisée : renommage des colonnes	Non pris en charge Nécessite une refresh complète.

Méthodes d’authentification

Méthode d’authentification	Disponibilité
OAuth U2M	Non pris en charge
OAuth M2M	pris en charge ID client et secret client issu d’un identifiant d’API Cribl.Cloud.
Authentification de base (nom d'utilisateur/mot de passe)	Non pris en charge

Méthode d’authentification	Disponibilité
OAuth U2M	Non pris en charge
OAuth M2M	pris en charge ID client et secret client issu d’un identifiant d’API Cribl.Cloud.
Authentification de base (nom d'utilisateur/mot de passe)	Non pris en charge

Ingérer à partir de Cribl.Cloud en 3 étapes

remarque

Avant de commencer, consultez la page concernant les personae d’utilisateurs Databricks, les interfaces prises en charge, la fréquence d’ingestion et les modèles courants.

1. Configurer Cribl.Cloud pour l'ingestion (Administrateurs) : Configurez Cribl.Cloud pour s'authentifier auprès de Databricks.
2. Créer une connexion Unity Catalog (administrateurs) : créez une connexion dans Catalog Explorer pour stocker les informations d'identification permettant à Databricks de s'authentifier auprès de Cribl.Cloud.
3. Créer un pipeline d’ingestion (administrateurs ou non-administrateurs) : sélectionnez n'importe quelle interface prise en charge et créez un pipeline à partir d’une connexion existante.