Zendesk Supportの取り込みパイプラインを作成する

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。

このページでは、 Databricks LakeFlow Connectを使用して Zendesk Support 取り込みパイプラインを作成する方法について説明します。

前提条件

取り込み パイプラインを作成するには、次の要件を満たす必要があります。

• ワークスペースでUnity Catalogが有効になっている必要があります。

• ワークスペースでサーバレスコンピュートを有効にする必要があります。 「サーバレス コンピュート要件」を参照してください。

• 新しい接続を作成する場合: メタストアに対するCREATE CONNECTION権限が必要です。

  コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

• 既存の接続を使用する場合: 接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGESが必要です。

• ターゲット カタログに対するUSE CATALOG権限が必要です。

• 既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE権限、またはターゲット カタログに対するCREATE SCHEMA権限が必要です。

Zendesk Support から取り込むには、 OAuth用に Zendesk Support を構成する」のステップを完了する必要があります。

取り込みパイプラインを作成する

Databricks Asset Bundles

1. Databricks CLI を使用して新しいバンドルを作成します。

   Bash

   databricks bundle init

2. バンドルに 2 つの新しいリソース ファイルを追加します。

   • パイプライン定義ファイル ( resources/zendesk_pipeline.yml )。
   • データ取り込みの頻度を制御するワークフロー ファイル ( resources/zendesk_job.yml )。

   以下はresources/zendesk_pipeline.ymlファイルの例です。

   YAML

   variables:
     destination_catalog:
       default: main
     destination_schema:
       default: ingest_destination_schema
   
   # The main pipeline for zendesk_dab
   resources:
     pipelines:
       pipeline_zendesk:
         name: zendesk_pipeline
         catalog: ${var.destination_catalog}
         target: ${var.destination_schema}
         ingestion_definition:
           connection_name: zendesk_connection
           objects:
             - table:
                 source_schema: <source-schame-name>
                 source_table: <source-table-name>
                 destination_catalog: ${var.destination_catalog}
                 destination_schema: ${var.destination_schema}

   以下はresources/zendesk_job.ymlファイルの例です。

   YAML

   resources:
     jobs:
       zendesk_dab_job:
         name: zendesk_dab_job
   
         trigger:
           # Run this job every day, exactly one day from the last run
           # See https://docs.databricks.com/api/workspace/jobs/create#trigger
           periodic:
             interval: 1
             unit: DAYS
   
         email_notifications:
           on_failure:
             - <email-address>
   
         tasks:
           - task_key: refresh_pipeline
             pipeline_task:
               pipeline_id: ${resources.pipelines.pipeline_zendesk.id}

3. Databricks CLI を使用してパイプラインをデプロイします。

   Bash

   databricks bundle deploy

Databricks notebook

1. 次のノートブックを Databricks ワークスペースにインポートします。

Zendesk Supportの取り込みパイプラインを作成する

Open notebook in new tab

2. セル 3 の次の値を変更します。

   • pipeline_name: 取り込みパイプラインの一意の名前。
   • connection_name: ソース セットアップからのUnity Catalog接続の名前。
   • source_schema: ソース データを含むスキーマの名前。
   • source_table: 取り込むテーブルの名前。サポートされているソース テーブルの一覧については、 Zendesk Support コネクタ リファレンスを参照してください。
   • destination_schema: 書き込み先のスキーマ。
   • destination_table: (オプション) 宛先ストリーミングテーブルの名前。 指定しない場合は、コネクタによって宛先テーブルにソーステーブルと同じ名前が自動的に付けられます。

一般的なパターン

必要に応じて、履歴追跡 (SCD タイプ 2) などの詳細オプションを構成します。マネージド インジェスト パイプラインの一般的なパターンを参照してください。

その他のリソース

• Zendesk Supportコネクタの制限
• Zendesk Support コネクタリファレンス
• Zendesk Supportコネクタのトラブルシューティング