Conceitos do conector Veeva Vault

info

Beta

Este recurso está em Beta. Os administradores de workspace podem controlar o acesso a este recurso na página **Pré-visualizações**. Consulte Gerenciar prévias do Databricks.

Esta página descreve os key conceitos do conector Veeva Vault no LakeFlow Connect.

Como o conector funciona

O conector Veeva Vault usa a API de Dados Diretos da Veeva para ingerir seus dados do Vault no Databricks. A Veeva gera dois tipos de arquivos:

• Arquivos completos : Gerados uma vez ao dia. Contém um Snapshot completo de todos os dados.
• Arquivos incrementais : gerados a cada 15 minutos. Contêm apenas registros que foram alterados desde o último arquivo.

Na primeira execução do pipeline, o conector faz o download e processa o arquivo completo mais recente. As execuções subsequentes usam arquivos incrementais para ingerir apenas os registros alterados, melhorando o desempenho e reduzindo os custos.

O conector faz o download de arquivos para um volume do Unity Catalog (configurado em sua conexão) antes do processamento. Este volume de staging armazena arquivos em cache entre os acionamentos de pipeline.

Retenção de arquivos e comportamento de refresh completo

A Veeva retém arquivos incrementais por 10 dias e arquivos completos por 2 dias. Se um pipeline atrasar mais de 10 dias, a cadeia de arquivos incrementais é quebrada e um refresh completo é necessário.

Quando um refresh completo é acionado, o processo abrange dois updates de pipeline:

1. A primeira atualização limpa o estado de arquivo em estágios do volume do Unity Catalog.
2. A segunda atualização downloads e processa um novo arquivo completo.

Objetos ingeridos

Por default, o conector ingere todos os objetos da sua instância do Vault, incluindo:

• Objetos padrão (__v)
• Objetos personalizados (__c)
• System tables
• Tabelas de registro de auditoria

Você também pode configurar o pipeline para ingerir objetos específicos em vez do Vault completo.

preços

Conectores gerenciados têm um modelo de preços baseado em compute. O conector Veeva Vault é executado em infraestrutura serverless e incorre em cobranças de DBU de Pipelines Declarativos Serverless LakeFlow Spark. Para detalhes de taxas, consulte a página de preços dos Pipelines Declarativos Serverless LakeFlow Spark. Cobranças adicionais podem ser aplicadas, como taxas de egresso serverless.