メインコンテンツまでスキップ
に最終更新

Adobe Marketo Engage からデータを取り込む

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

Adobe Marketo Engage からデータを取り込むために、Lakeflow Connect でマネージド Marketo インジェスト パイプラインを作成します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースで Serverless コンピュートを有効にする必要があります。See Serverless コンピュートの要件.

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 権限が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES 権限が必要です。

    • ターゲットカタログに対するUSE CATALOG権限が必要です。

    • 既存のスキーマに対する USE SCHEMA 権限と CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

  • Marketoから取り込むには、まずDatabricksから認証を設定する必要があります。Adobe Marketo Engageへの認証の設定を参照してください。

インジェスションパイプラインの作成​

  1. Databricksワークスペースのサイドバーで、摂取アイコン。 データ取り込み をクリックします。
  2. Databricks コネクターの 「Add data page 」ページで、 Marketo をクリックします。
  3. 取り込みウィザードの 接続 ページで、Marketo アクセス認証情報を保存している接続を選択します。メタストアでCREATE CONNECTION権限を持っている場合は、クリックできます プラスアイコン。 Marketo接続の作成で認証の詳細を使用して新しい接続を作成するには、接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの一意の名前を入力します。
  6. イベント Logs の書き込み先となるカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウン メニューの プラスアイコン。 スキーマを作成 をクリックして新しいスキーマを作成できます。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データをロードするカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウンメニューで プラスアイコン。 Create schema をクリックして、新しいスキーマを作成できます。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. (オプション) プラスアイコン。 通知の追加 をクリックして、パイプライン操作の成功または失敗に関するEメール通知を設定し、 保存してパイプラインを実行 をクリックします。

例​

これらの例を使用してパイプラインを構成してください。サポートされているテーブルの完全な一覧については、「サポートされているソーステーブル」を参照してください。

特定のテーブルを取り込む​

次の例では、leadsテーブルと2つのアクティビティテーブルを取り込みます。アクティビティテーブルの場合、ソーステーブル名は activity_<typeId> です。ここで <typeId> はAdobe Marketo EngageのアクティビティタイプID（数値）です。

YAML
resources:
  pipelines:
    marketo_pipeline:
      name: marketo_pipeline
      catalog: 'main'
      target: 'marketo_data'
      ingestion_definition:
        connection_name: marketo_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'leads'
              destination_catalog: 'main'
              destination_schema: 'marketo_data'
              destination_table: 'leads'
          - table:
              source_schema: 'default'
              source_table: 'activity_1'
              destination_catalog: 'main'
              destination_schema: 'marketo_data'
              destination_table: 'activity_1'

初期同期の開始日を設定する​

defaultでは、コネクタは 2 年分のヒストリカルデータを取り込みます。バックフィル期間を変更するには、YYYY-MM-DD 形式で sync_start_date オプションを設定します。その後、コネクタはその日付以降のデータを取り込みます。

sync_start_date 初期バックフィルにのみ適用されます。テーブルの最初の同期が完了した後、フル更新を実行しない限り、値を変更してもそのテーブルには影響しません。

YAML
resources:
  pipelines:
    marketo_pipeline:
      name: marketo_pipeline
      catalog: 'main'
      target: 'marketo_data'
      ingestion_definition:
        connection_name: marketo_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'leads'
              destination_catalog: 'main'
              destination_schema: 'marketo_data'
              destination_table: 'leads'
              connector_options:
                marketo_options:
                  sync_start_date: '2024-01-01'

宣言型オートメーションバンドルのジョブ定義ファイル​

YAML
resources:
  jobs:
    marketo_job:
      name: marketo_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: marketo_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.marketo_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「 管理されたインジェスションパイプラインの共通パターン」を参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し