Limitations du connecteur Anysphere Organization

info

Bêta

Cette fonctionnalité est en version bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Manage Databricks previews.

General SaaS connector limitations

Les limitations de cette section s’appliquent à tous les connecteurs SaaS de Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se Trigger pas immédiatement. Elles se Trigger en revanche lors de la prochaine mise à jour.
• Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer manuellement la table de destination. Ce comportement n’est pas cohérent avec le comportement des Spark Declarative Pipelines sur Lakeflow.
• Durant les périodes de maintenance des sources, il est possible que Databricks ne parvienne pas à accéder à vos données.
• Si le nom d’une table source entre en conflit avec le nom d’une table de destination existante, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destination est exclusive à l’API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table de votre pipeline, celui-ci devient un pipeline accessible uniquement via l'API, et vous ne pouvez plus le modifier dans l'interface utilisateur.
• Si vous sélectionnez une colonne après qu’un pipeline a déjà start, le connecteur ne remplit pas automatiquement les données de la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement une full refresh sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas source différents.
• Le système source part du principe que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez des Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les Transformations.

Connector-specific limitations

Les limitations de cette section s'appliquent au connecteur Anysphere Organization.

• Le connecteur ne prend pas en charge l’ingestion incrémentielle. Toutes les tables sont actualisées avec un instantané complet à chaque mise à jour du pipeline. Chaque table conserve un historique quotidien via la colonne de partition snapshot_date (qui fait partie de la clé primaire de chaque table), de sorte que les instantanés quotidiens sont préservés d’une exécution à l’autre.
• The connector doesn't support SCD type 2. All tables are ingested as full-refresh snapshots with no change-data-capture (CDC) delete tracking, so SCD type 2 history isn't available.
• Pour consulter la liste des tables prises en charge, rendez-vous sur Tables sources prises en charge.