メインコンテンツまでスキップ
に最終更新

Veeva Vault からデータを取り込む

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Lakeflow Connectを使用してマネージド Veeva Vault インジェストパイプラインを作成する方法を示します。

要件​

  • 取り込み パイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでサーバレス コンピュートを有効にする必要があります。サーバレス コンピュートの要件を参照してください。

    • 新しい接続を作成する場合は：メタストアに対する CREATE CONNECTION 権限が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用する場合：接続オブジェクトに対してUSE CONNECTION特権またはALL PRIVILEGESが必要です。

    • ターゲットカタログに対するUSE CATALOG権限が必要です。

    • 既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE特権、またはターゲットカタログに対するCREATE SCHEMA特権を所有している必要があります。

  • Veeva Vaultから取り込むには、まずDatabricksから認証を設定し、接続を作成します。OAuth 2.0 M2M認証のためにVeeva Vaultを設定およびVeeva Vault接続を作成を参照してください。

取り込みパイプラインを作成​

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。

  2. データの追加 ページの Databricks コネクタ で、 Veeva Vault をクリックします。

  3. 取り込みウィザードの 接続 ページで、Veeva Vault 認証情報を保存する接続を選択します。 CREATE CONNECTIONメタストアに対する 特権をお持ちの場合は、 プラスアイコン。 接続の作成 をクリックして、 OAuth 2.0 M2M 認証用に Veeva Vault を構成する からの認証情報で接続を作成します。

  4. 次へ をクリックします。

  5. インジェスト セットアップ ページで、パイプラインの名前を入力します。

  6. イベントログの書き込み先となるカタログとスキーマを選択してください。カタログに対する USE CATALOG および CREATE SCHEMA 権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマを作成 をクリックしてスキーマを作成します。

  7. パイプラインの作成および続行 をクリックします。

  8. ソース ページで、取り込むオブジェクトを選択します。

  9. 保存して続行 をクリックします。

  10. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対する USE CATALOG および CREATE SCHEMA 権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマの作成 をクリックして、スキーマを作成します。

  11. 保存して続行 をクリックします。

  12. （オプション） [スケジュールと通知] ページで、 プラスアイコン。 [スケジュールの作成] をクリックします。宛先テーブルを更新する頻度を設定します。

注記

Veeva は 15 分ごとにインクリメンタルアーカイブを生成します。15分ごとに実行するよりも頻繁にパイプラインをスケジュールしても、追加のデータは生成されません。

  1. (オプション) プラスアイコン。通知を追加 をクリックしてパイプライン操作の成功または失敗に対するEメール通知を設定し、次に パイプラインを保存して実行 をクリックします。

例​

Veeva Vault オブジェクトは、default ソース スキーマの下で公開されます。個々のオブジェクトまたはスキーマ全体を取り込みます。

特定のオブジェクトを取り込む​

このオプションを使用して、オブジェクトの特定のサブセットを取り込むか、オブジェクトごとに宛先名をカスタマイズします。

次のパイプライン定義ファイルは、個々の Veeva Vault オブジェクトを取り込みます。

YAML
resources:
  pipelines:
    veeva_vault_pipeline:
      name: veeva_vault_pipeline
      catalog: 'main'
      target: 'veeva_data'
      ingestion_definition:
        connection_name: veeva_vault_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'opportunity__v'
              destination_catalog: 'main'
              destination_schema: 'veeva_data'
              destination_table: 'opportunity'
          - table:
              source_schema: 'default'
              source_table: 'account__v'
              destination_catalog: 'main'
              destination_schema: 'veeva_data'
              destination_table: 'account'

すべてのオブジェクトを取り込みます。​

このオプションを使用すると、単一の宣言で、すべてのVeeva Vaultオブジェクトを単一の宛先スキーマにイングレスできます。

次のパイプライン定義ファイルは、サポートされているすべてのVeeva Vaultオブジェクトを宛先スキーマに取り込みます。

YAML
resources:
  pipelines:
    veeva_vault_pipeline:
      name: veeva_vault_pipeline
      catalog: 'main'
      target: 'veeva_data'
      ingestion_definition:
        connection_name: veeva_vault_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'veeva_data'

宣言型自動化バンドルのジョブ定義ファイル​

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    veeva_vault_job:
      name: veeva_vault_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: veeva_vault_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.veeva_vault_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「マネージド取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインの開始、スケジュール、アラートを設定します。共通パイプラインメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し