Limitations du connecteur Vimeo

info

Bêta

Cette fonctionnalité est en Bêta. Pour l’utiliser, un administrateur de workspace doit activer Lakeflow Connect for Vimeo sur la page Prévisualisations . Consultez Gérer les aperçus Databricks.

Le connecteur Vimeo géré dans Lakeflow Connect ingère quatre tables, lit au plus 364 jours d’historique de log d’audit, utilise un refresh complet uniquement pour les données d’équipe et ne prend pas en charge le SCD de type 2.

Limitations générales des connecteurs SaaS (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s’appliquent à tous les connecteurs SaaS de Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne Trigger pas immédiatement. Au lieu de cela, elles Trigger lors de la prochaine exécution de la mise à jour.
• Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer la table de destination manuellement. Ce comportement n’est pas cohérent avec le comportement des Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks peut ne pas être en mesure d’accéder à vos données.
• Si un nom de table source est en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destination s'effectue uniquement via l'API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, elle devient un pipeline réservé à l’API et vous ne pourrez plus le modifier dans l’interface utilisateur.
• Si vous sélectionnez une colonne après le start d’un pipeline, le connecteur ne remplit pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère les données brutes sans transformation. Utilisez les Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les Transformations.

Limitations spécifiques aux connecteurs

Les limitations décrites dans cette section s'appliquent au connecteur Vimeo.

• Le connecteur ingère quatre tables : teams, team_members, team_roles et audit_logs. Il n'ingère pas d'autres APIs ou ressources Vimeo.
• Les tables teams, team_members et team_roles ne prennent en charge que le refresh complet. Le connecteur réingère tous les enregistrements à chaque exécution.
• La table audit_logs ingère les événements depuis au plus les 364 derniers jours, juste en dessous de la limite de 365 jours de Vimeo. Vimeo ne met pas les événements d’audit plus anciens à disposition via l’API.
• Le connecteur lit les données pour un seul propriétaire de compte d'équipe, défini par l'ID utilisateur du propriétaire du compte sur la connexion. Il n'ingère pas les données de plusieurs propriétaires dans un seul pipeline.
• Le SCD de type 2 n'est pris en charge pour aucune table car chaque table contient VARIANT colonnes, que le connecteur ne peut pas comparer pour suivre les modifications au niveau des lignes.