Concepts du connecteur Veeva Vault
Bêta
Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.
Cette page décrit les concepts clés du connecteur Veeva Vault dans Lakeflow Connect.
Fonctionnement du connecteur
Le connecteur Veeva Vault utilise l'API Direct Data de Veeva pour ingérer vos données Vault dans Databricks. Veeva génère deux types d'archives :
- Archives complètes : Générées une fois par jour. Contient un instantané complet de toutes les données.
- Archives incrémentielles : générées toutes les 15 minutes. Contenir uniquement les enregistrements qui ont changé depuis la dernière archive.
Lors de la première exécution du pipeline, le connecteur télécharge et traite la dernière archive complète. Les exécutions suivantes utilisent des archives incrémentielles pour ingérer uniquement les enregistrements modifiés, ce qui améliore les performances et réduit les coûts.
Le connecteur download les archives vers un volume Unity Catalog (configuré dans votre connexion) avant le traitement. Ce volume de staging met en cache les archives entre les triggers de pipeline.
Rétention des archives et comportement de refresh complète
Veeva conserve les archives incrémentielles pendant 10 jours et les archives complètes pendant 2 jours. Si un pipeline prend plus de 10 jours de retard, la chaîne d'archives incrémentielle est rompue et un full refresh est requise.
Lorsqu'un full refresh est déclenchée, le processus s'étend sur deux mises à jour de pipeline :
- La première mise à jour efface l'état de l'archive échelonnée du volume Unity Catalog.
- La deuxième mise à jour download et traite une nouvelle archive complète.
Objets ingérés
By default, le connecteur ingère tous les objets de votre instance Vault, notamment :
- Objets standard (
__v) - Objets personnalisés (
__c) - Tables système
- Tables de piste d'audit
Vous pouvez également configurer le pipeline pour ingérer des objets spécifiques au lieu du coffre-fort complet.
Tarifs
Les connecteurs gérés ont un modèle de Tarifs basé sur le compute. Le connecteur Veeva Vault s'exécute sur une infrastructure serverless et entraîne des frais de DBU pour les LakeFlow Pipelines serverless. Pour plus de détails sur les tarifs, consultez la page de tarifs LakeFlow Pipelines. Des frais supplémentaires peuvent s'appliquer, tels que les frais de sortie Serverless.