Connecteur GitLab

info

Bêta

Cette fonctionnalité est en version Bêta. Pour l'utiliser, un administrateur du workspace doit activer Lakeflow Connect for GitLab depuis la page Previews . Consultez la page Gérer les aperçus Databricks.

Le connecteur GitLab géré dans Lakeflow Connect ingère les données de repository, de project, de group, de CI/CD et de sécurité de GitLab dans Databricks.

Disponibilité des fonctionnalités

Fonctionnalité	Disponibilité
Création de pipelines basée sur l'interface utilisateur	Pris en charge
Création de pipelines par l’intermédiaire d’une API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion incrémentielle	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration avec Databricks Workflows	Pris en charge
Sélection et désélection de colonnes basées sur l’API	Pris en charge
Filtrage de lignes basé sur une API	Non pris en charge
Type de SCD 2	Pris en charge Les tables avec des colonnes VARIANT (commits, releases, deployments, epics, merge_request_commits, epic_issues, merge_request_discussions) ne prennent pas en charge le SCD de type 2.
Évolution des schémas automatisée : nouvelles colonnes et colonnes supprimées	Pris en charge
Évolution des schémas automatisée : modifications des types de données	Non pris en charge
Évolution des schémas automatisée : renommage des colonnes	Non pris en charge Nécessite un refresh complet.

Fonctionnalité	Disponibilité
Création de pipelines basée sur l'interface utilisateur	Pris en charge
Création de pipelines par l’intermédiaire d’une API	Pris en charge
Declarative Automation Bundles	Pris en charge
Ingestion incrémentielle	Pris en charge
Gouvernance Unity Catalog	Pris en charge
Orchestration avec Databricks Workflows	Pris en charge
Sélection et désélection de colonnes basées sur l’API	Pris en charge
Filtrage de lignes basé sur une API	Non pris en charge
Type de SCD 2	Pris en charge Les tables avec des colonnes VARIANT (commits, releases, deployments, epics, merge_request_commits, epic_issues, merge_request_discussions) ne prennent pas en charge le SCD de type 2.
Évolution des schémas automatisée : nouvelles colonnes et colonnes supprimées	Pris en charge
Évolution des schémas automatisée : modifications des types de données	Non pris en charge
Évolution des schémas automatisée : renommage des colonnes	Non pris en charge Nécessite un refresh complet.

Méthodes d’authentification

Méthode d’authentification	Disponibilité
OAuth U2M	Pris en charge
OAuth M2M	Non pris en charge
Authentification de base (nom d’utilisateur / mot de passe)	Non pris en charge

Méthode d’authentification	Disponibilité
OAuth U2M	Pris en charge
OAuth M2M	Non pris en charge
Authentification de base (nom d’utilisateur / mot de passe)	Non pris en charge

Ingérer des données depuis GitLab en 3 étapes

remarque

Avant de commencer, consultez la persona utilisateur Databricks, les interfaces prises en charge, la fréquence d’ingestion et les modèles courants.

1. Configurer GitLab pour l’ingestion (Administrateurs) : configurez GitLab pour l’authentification avec Databricks.
2. Create a Unity Catalog connection (Administrateurs) : créez une connexion dans Catalog Explorer pour stocker les identifiants permettant à Databricks de s’authentifier auprès de GitLab.
3. Créer un pipeline d’ingestion (administrateurs ou non-administrateurs) : sélectionnez n’importe quelle interface prise en charge et créez un pipeline à partir d’une connexion existante.