メインコンテンツまでスキップ
に最終更新

Pendoからデータを取り込む

備考

ベータ版

この機能は ベータ版です。使用するには、ワークスペース管理者が [プレビュー] ページから Lakeflow Connect for Pendo を有効にする必要があります。Databricks のプレビューを管理するを参照してください。

このページでは、LakeFlow Connect を使用して、マネージド Pendo インジェストパイプラインを作成する方法について説明します。

要件​

  • 取り込みパイプラインを作成するには、まず、次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • サーバレス コンピュートがワークスペースで有効になっている必要があります。サーバレス コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対するCREATE CONNECTION特権が必要です。Unity Catalogでの特権の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGESが必要です。

    • ターゲットカタログに対するUSE CATALOG権限が必要です。

    • 既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限を持っている必要があります。

  • Pendo から取り込むには、まず Databricks で認証を構成する必要があります。「管理対象の取り込み用に Pendo を構成する」を参照してください。

取り込みパイプラインを作成​

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Pendo をクリックします。
  3. 取り込みウィザードの 接続 ページで、Pendoアクセス資格情報を保存している接続を選択します。メタストアに対するCREATE CONNECTION権限をお持ちの場合は、 プラスアイコン。 接続の作成 をクリックして、Pendo接続の作成で認証の詳細を使用して新しい接続を作成できます。
  4. 次へ をクリックします。
  5. **インジェスト セットアップ** ページで、パイプラインの一意の名前を入力します。
  6. イベントログを書き込むカタログとスキーマを選択してください。カタログに対するUSE CATALOG権限とCREATE SCHEMA権限がある場合は、ドロップダウンメニューで プラスアイコン。 スキーマを作成 をクリックして、新しいスキーマを作成できます。
  7. パイプラインの作成および続行 をクリックします。
  8. **ソース**ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データを取り込むカタログとスキーマを選択します。カタログに対するUSE CATALOG権限とCREATE SCHEMA権限がある場合は、ドロップダウンメニューで プラスアイコン。 スキーマを作成 をクリックして、新しいスキーマを作成できます。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールを作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. (オプション) プラスアイコン。 通知の追加 をクリックして、パイプライン操作の成功または失敗に関するEメール通知を設定し、次に パイプラインを保存して実行 をクリックします。

例​

これらの例を使用してパイプラインを構成してください。

スキーマ全体を取り込む​

次のパイプライン定義ファイルは、サポートされているすべての Pendo テーブルを宛先スキーマに取り込みます：

YAML
resources:
  pipelines:
    pendo_pipeline:
      name: pendo_pipeline
      catalog: 'main'
      target: 'pendo_data'
      ingestion_definition:
        connection_name: pendo_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'pendo_data'

特定のテーブルを取り込む​

個別のPendoテーブルを取り込みます。サポートされているテーブルの完全なリストについては、「サポートされているソース テーブル」を参照してください。

次のパイプライン定義ファイルは個別の Pendo テーブルを取り込みます。

YAML
resources:
  pipelines:
    pendo_pipeline:
      name: pendo_pipeline
      catalog: 'main'
      target: 'pendo_data'
      ingestion_definition:
        connection_name: pendo_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'page'
              destination_catalog: 'main'
              destination_schema: 'pendo_data'
              destination_table: 'page'
          - table:
              source_schema: 'default'
              source_table: 'feature'
              destination_catalog: 'main'
              destination_schema: 'pendo_data'
              destination_table: 'feature'
          - table:
              source_schema: 'default'
              source_table: 'guide'
              destination_catalog: 'main'
              destination_schema: 'pendo_data'
              destination_table: 'guide'
          - table:
              source_schema: 'default'
              source_table: 'report'
              destination_catalog: 'main'
              destination_schema: 'pendo_data'
              destination_table: 'report'

宣言型オートメーションバンドル ジョブ定義ファイル​

YAML
resources:
  jobs:
    pendo_job:
      name: pendo_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: pendo_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.pendo_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「マネージド取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインの開始、スケジュール、アラートを設定する共通パイプラインメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し