Veeva Vault コネクタのコンセプト
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
このページでは、LakeFlow ConnectのVeeva Vaultコネクタの主要な概念について説明します。
コネクタの仕組み
Veeva Vaultコネクタは、VeevaのDirect Data APIを使用してVaultデータをDatabricksに取り込みます。Veevaは2種類のアーカイブを生成します。
- 完全なアーカイブ: 1日1回生成されます。すべてのデータの完全なスナップショットを含みます。
- 増分アーカイブ : 15分ごとに生成されます。前回のアーカイブ以降に変更されたレコードのみを含みます。
最初のパイプライン実行時に、コネクタは最新の完全なアーカイブをダウンロードして処理します。後続の実行では、増分アーカイブを使用して変更されたレコードのみを取り込み、パフォーマンスを向上させ、コストを削減します。
コネクタは、処理する前にアーカイブをUnity Catalogボリューム (接続で構成されている) にダウンロードします。このステージングボリュームは、パイプラインのトリガー間でアーカイブをキャッシュします。
アーカイブ保持と完全更新の動作
Veevaは、増分アーカイブを10日間、完全アーカイブを2日間保持します。パイプラインが10日以上遅延した場合、増分アーカイブチェーンが破損し、完全更新が必要です。
完全更新がトリガーされた場合、処理は2回のパイプライン更新にわたります。
- 最初の更新は、Unity Catalogボリュームからステージングされたアーカイブ状態をクリアします。
- 2 回目の更新では、新しいフルアーカイブをダウンロードして処理します。
取り込まれたオブジェクト
デフォルトでは、コネクタは Vault インスタンス内のすべてのオブジェクトを取り込みます。以下を含みます：
- 標準オブジェクト (
__v) - カスタムオブジェクト (
__c) - システムテーブル
- 監査ログテーブル
パイプラインを、Vault全体ではなく特定のオブジェクトを取り込むように構成することもできます。
価格
マネージドコネクタは、コンピュートベースの価格モデルを採用しています。Veeva Vaultコネクタはサーバレスインフラストラクチャで実行され、サーバレスLakeflow Spark宣言型パイプラインのDBU料金が発生します。料金の詳細については、Lakeflow Spark宣言型パイプラインの価格ページを参照してください。たとえば、サーバレスエグレス料金など、追加料金が適用される場合があります。