Limitations du connecteur Glean

info

Bêta

Cette fonctionnalité est en version bêta. Les administrateurs de Workspace peuvent contrôler l’accès à cette fonctionnalité depuis la page Aperçus . Consultez Gérer les aperçus Databricks.

Cette page contient des informations sur les limitations connues du connecteur Glean géré dans Lakeflow Connect.

Limitations générales des connecteurs SaaS (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s'appliquent à tous les connecteurs SaaS dans LakeFlow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se trigger pas immédiatement. Au lieu de cela, elles se produisent lors du prochain trigger.
• Lorsqu'une table source est supprimée, la table de destination n'est pas automatiquement supprimée. Vous devez supprimer manuellement la table de destination. Ce comportement n'est pas cohérent avec le comportement des Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks pourrait ne pas être en mesure d’accéder à vos données.
• Si un nom de table source est en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destinations est disponible uniquement via API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, celui-ci devient un pipeline accessible uniquement via l'API et vous ne pouvez plus le modifier dans l'interface utilisateur.
• Si vous sélectionnez une colonne après qu'un pipeline a déjà start, le connecteur ne remplit pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez des Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les Transformations.

Limitations spécifiques au connecteur

Les limitations de cette section s'appliquent au connecteur Glean.

• Le connecteur met à disposition deux tables sources, insights et shortcuts. Pour plus de détails, consultez Tables sources prises en charge.
• Les deux tables sont ingérées sous forme de snapshots en full-refresh. Chaque synchronisation remplace la table de destination par les données les plus récentes ; le connecteur ne conserve donc pas de snapshots historiques. Pour conserver un historique quotidien, matérialisez la table de destination en aval selon votre propre planification.
• L'ingestion incrémentielle n'est pas prise en charge. Les Glean insights et listshortcuts Endpoint n'exposent pas de curseur ; chaque synchronisation lit donc l'état actuel complet.
• Le SCD de type 2 n’est pas pris en charge. La table insights contient des colonnes VARIANT, et les deux tables sont ingérées sous forme d’instantanés en refresh complet.
• Une connexion unique utilise un jeton API, et ce jeton doit comporter à la fois les périmètres Insights et Shortcuts pour ingérer les deux tables.