Limitations du connecteur GitLab

info

Bêta

Cette fonctionnalité est en bêta. Pour l’utiliser, un administrateur du workspace doit activer Lakeflow Connect pour GitLab à partir de la page Prévisualisations . Consultez Gérer les aperçus Databricks.

Cette page contient des informations sur les limitations connues du connecteur GitLab géré dans Lakeflow Connect.

Limitations générales des connecteurs SaaS (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s'appliquent à tous les connecteurs SaaS de Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se déclenchent pas immédiatement. Elles se déclenchent en revanche lors de l'exécution de la mise à jour suivante.
• Lorsqu'une table source est supprimée, la table de destination n'est pas automatiquement supprimée. Vous devez supprimer manuellement la table de destination. Ce comportement ne correspond pas à celui de Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, il est possible que Databricks ne puisse pas accéder à vos données.
• Si le nom d’une table source entre en conflit avec le nom d’une table de destination existante, la mise à jour du pipeline échoue.
• Le support des pipelines multi-destinations est exclusivement disponible via l'API.
• Vous pouvez éventuellement renommer une table que vous ingérez. If you rename a table in your pipeline, it becomes an API-only pipeline, and you can no longer edit the pipeline in the UI.
• Si vous sélectionnez une colonne après le démarrage d'un pipeline, le connecteur ne remplit pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas source différents.
• Le système source part du principe que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans Transformations. Utilisez des Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les Transformations.

Limitations spécifiques aux connecteurs

Les limitations de cette section s’appliquent au connecteur GitLab.

• Le connecteur ingère des données à partir de GitLab SaaS (https://gitlab.com). Il n'assure pas l'ingestion à partir d'instances GitLab autogérées.
• Le connecteur n'ingère que les groupes et les projets dont l'utilisateur en cours d'authentification est membre.
• Les tables epics, epic_issues, epic_boards et group_iterations s'ingèrent uniquement à partir de groupes GitLab Premium ou Ultimate. Les tables vulnerabilities et compliance_frameworks s'ingèrent uniquement à partir de groupes et de projets GitLab Ultimate.