Productboardからのデータ取り込み

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Productboard用Lakeflow Connect を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

ProductboardデータをUnity Catalogテーブルに取り込むマネージドLakeflow Connectパイプラインを作成します。Databricks UI、宣言型自動化バンドル、またはDatabricksノートブックを使用します。

要件

• 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります：

  • ワークスペースでUnity Catalogが有効になっている必要があります。

  • ワークスペースでServerless コンピュートが有効になっている必要があります。Serverless コンピュートの要件を参照してください。

  • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 権限が必要です。Unity Catalog での権限の管理を参照してください。

    コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

  • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 特権または ALL PRIVILEGES 特権が必要です。

  • ターゲットカタログに対するUSE CATALOG権限が必要です。

  • 既存のスキーマに対するUSE SCHEMA権限とCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。

• Productboard から取り込むには、まず Databricks で認証を構成し、接続を作成します。「Productboard の認証を構成する」と「Productboard 接続を作成する」を参照してください。

コネクターオプション

source_configurations でパイプラインスコープのオプションを設定します。使用方法については、「例」を参照してください。

オプション	スコープ	必須	適用対象	説明
start_datetime	パイプライン	No	notes	最初の同期時に取り込む最も早い updatedAt の値 (yyyy-MM-ddTHH:mm:ssZ 形式 (例: 2024-01-01T00:00:00Z))。defaultは 2020-01-01T00:00:00Zです。

オプション	スコープ	必須	適用対象	説明
start_datetime	パイプライン	No	notes	最初の同期時に取り込む最も早い updatedAt の値 (yyyy-MM-ddTHH:mm:ssZ 形式 (例: 2024-01-01T00:00:00Z))。defaultは 2020-01-01T00:00:00Zです。

取り込みパイプラインを作成する

サポートされているソーステーブルの一覧については、サポートされているソーステーブルを参照してください。

Databricks UI

1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
2. データの追加 ページの Databricks コネクタ で、 Productboard をクリックします。
3. 取り込みウィザードの 接続 ページで、Productboard 認証情報を格納する接続を選択します。メタストアに対する CREATE CONNECTION 特権がある場合は、 接続の作成 をクリックし、Productboard への認証の構成からの認証情報を使用して接続を作成します。
4. 次へ をクリックします。
5. インジェスト設定 ページで、パイプラインの名前を入力します。
6. イベントLogsを書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限を持っている場合、ドロップダウンメニューの スキーマの作成 をクリックしてスキーマを作成します。
7. パイプラインの作成および続行 をクリックします。
8. ソース ページで、取り込むテーブルを選択します。
9. 保存して続行 をクリックします。
10. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウンメニューの スキーマの作成 をクリックしてスキーマを作成します。
11. 保存して続行 をクリックします。
12. (オプション) スケジュールと通知 ページで、 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
13. (オプション) 通知の追加 をクリックして、パイプライン操作が成功または失敗した場合のEメール通知を設定してから、 パイプラインを保存してラン をクリックします。

Declarative Automation Bundles

宣言型オートメーションバンドルを使用して、Productboard パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース（開発、ステージング、本番運用など）で共有およびランを実行できます。情報については、「宣言型オートメーションバンドルとは？」をご覧ください。

1. Databricks CLIを使用してバンドルを作成するには、次の手順を実行します。

   Bash

   databricks bundle init

2. バンドルに 2 つの新しいリソースファイルを追加します。

   • パイプライン定義ファイル（例：resources/productboard_pipeline.yml）。パイプライン.ingestion_definitionを参照してくださいおよび例。
   • データ取り込みの頻度を制御するジョブ定義ファイル（たとえば、resources/productboard_job.yml）。

3. Databricks CLIを使用してパイプラインをデプロイする：

   Bash

   databricks bundle deploy

Databricks notebook

1. 次のノートブックをDatabricksワークスペースにインポートします：

ノートブックを新しいタブで開くOpen in Databricks

2. セル1はそのままにします。

3. 2つ目のセルで、<Paste generated token here> を個人用アクセストークンに置き換えます。

4. セル3はそのままにします。

5. セル4をパイプライン構成の詳細で変更します。パイプライン.ingestion_definitionを参照してくださいおよび例。

6. オプションで、高度なパイプライン設定を構成します。管理された取り込みパイプラインの一般的なパターンを参照してください。

7. 「 すべて実行 」をクリックします。

例

Productboard コネクタは、そのソーステーブルを default ソーススキーマで使用できるようにします。個々のテーブルまたはスキーマ全体を取り込みます。テーブルの完全な一覧については、サポートされているソーステーブルを参照してください。

特定のテーブルを取り込む

このオプションを使用して、テーブルの特定のサブセットを取り込んだり、テーブルごとに宛先の名前をカスタマイズしたりします。

Declarative Automation Bundles

次のパイプライン定義ファイルは、個々のProductboardテーブルを取り込みます。

YAML

resources:
  pipelines:
    productboard_pipeline:
      name: productboard_pipeline
      catalog: 'main'
      target: 'productboard_data'
      ingestion_definition:
        connection_name: productboard_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'features'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'features'
          - table:
              source_schema: 'default'
              source_table: 'notes'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'notes'
          - table:
              source_schema: 'default'
              source_table: 'companies'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'companies'

Databricks notebook

次のパイプライン仕様は、個々の Productboard テーブルを取り込みます。

Python

pipeline_name = "productboard_pipeline"
connection_name = "<productboard-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "features",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "features"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "notes",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "notes"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "companies",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "companies"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

スキーマ全体を取り込む

すべてのProductboardソーステーブルを1つの宣言で単一の宛先スキーマに取り込むには、このオプションを使用します。

Declarative Automation Bundles

以下のパイプライン定義ファイルは、サポートされているすべてのProductboardテーブルを宛先スキーマに取り込みます：

YAML

resources:
  pipelines:
    productboard_pipeline:
      name: productboard_pipeline
      catalog: 'main'
      target: 'productboard_data'
      ingestion_definition:
        connection_name: productboard_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'

Databricks notebook

次のパイプライン仕様は、すべてのサポートされているProductboardテーブルを送信先スキーマに取り込みます。

Python

pipeline_name = "productboard_pipeline"
connection_name = "<productboard-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "productboard_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

宣言型オートメーションバンドル ジョブ定義ファイル

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日ランされます。

Declarative Automation Bundles

YAML

resources:
  jobs:
    productboard_job:
      name: productboard_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: productboard_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.productboard_pipeline.id}

一般的なパターン

高度なパイプライン設定については、管理された取り込みパイプラインの一般的なパターンを参照してください。

次のステップ

パイプラインの起動、スケジュール、アラートを設定します。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース

• Productboardコネクタに関するFAQ
• Productboardコネクタの制限事項
• Productboardコネクタ リファレンス
• Productboardコネクタのトラブルシューティング