HubSpotからDatabricksにデータを取り込む

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。

HubSpot から Databricks にデータを取り込むための管理された取り込みパイプラインを作成する方法を学びます。

要件

取り込みパイプラインを作成するには、次の要件を満たす必要があります。

ワークスペースでUnity Catalogが有効になっている必要があります。
ワークスペースでサーバレスコンピュートを有効にする必要があります。「サーバレスコンピュート要件」を参照してください。
新しい接続を作成する場合: メタストアに対するCREATE CONNECTION権限が必要です。

コネクタが UI ベースのパイプラインオーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。ただし、パイプラインを作成するユーザーが API ベースのパイプラインオーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログエクスプローラーで接続を作成する必要があります。「管理対象取り込みソースへの接続」を参照してください。
既存の接続を使用する場合: 接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGESが必要です。
ターゲットカタログに対するUSE CATALOG権限が必要です。
既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。

HubSpot から取り込むには、「Configure OAuth for HubSpot ingestion」のステップを完了する必要があります。

取り込みパイプラインを作成する

Databricks Asset Bundles
Databricks notebook

Databricks アセットバンドルを使用して、インジェストパイプラインをデプロイできます。バンドルにはジョブとタスクの YAML 定義を含めることができ、 Databricks CLIを使用して管理でき、さまざまなターゲットワークスペース (開発、ステージング、本番運用など) で共有して実行できます。詳細については、 Databricksアセットバンドルとは何ですか?」を参照してください。。

Databricks CLI を使用して新しいバンドルを作成します。
Bash
```
databricks bundle init
```
バンドルに 2 つの新しいリソースファイルを追加します。
- パイプライン定義ファイル ( resources/hubspot_pipeline.yml )。
- データ取り込みの頻度を制御するワークフローファイル ( resources/hubspot_job.yml )。
変更する値とパイプライン定義テンプレートを参照してください。
Databricks CLI を使用してパイプラインをデプロイします。
Bash
```
databricks bundle deploy
```

変更する値

Value	説明
`name`	パイプラインの一意の名前。
`connection_name`	HubSpot の認証詳細を保存するUnity Catalog接続の名前。
`source_schema`	取り込むデータが含まれているスキーマの名前。
`source_table`	取り込むテーブルの名前。
`destination_catalog`	Databricks に書き込むカタログの名前。
`destination_schema`	Databricks に書き込むスキーマの名前。
`destination_table`	オプション。Databricks に書き込むテーブルの一意の名前。これを指定しない場合、コネクタは自動的にソーステーブル名を使用します。

パイプライン定義テンプレート

YAML
JSON

これらは、Databricks Asset Bundle で使用するテンプレートです。以下はresources/hubspot_pipeline.ymlファイルの例です。

YAML
resources:
  pipelines:
    pipeline_hubspot:
      name: <pipeline>
      catalog: <destination-catalog>
      target: <destination-schema>
      ingestion_definition:
        connection_name: <connection>
        objects:
          - table:
              source_schema: <source-schema>
              source_table: <source-table>
              destination_catalog: <destination-catalog>
              destination_schema: <destination-schema>
              destination_table: <destination-table>

以下はresources/hubspot_job.ymlファイルの例です。

YAML
resources:
  jobs:
    hubspot_dab_job:
      name: hubspot_dab_job

      trigger:
        # Run this job every day, exactly one day from the last run
        # See https://docs.databricks.com/api/workspace/jobs/create#trigger
        periodic:
          interval: 1
          unit: DAYS

      email_notifications:
        on_failure:
          - <email-address>

      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: <pipeline-id>

これは、Databricks ノートブックで使用するパイプライン定義テンプレートです。

JSON
pipeline_spec = """
{
 "name": "<pipeline>",
 "ingestion_definition": {
    "connection_name": "<connection>",
    "objects": [
      {
        "table": {
          "source_schema": "<source-schema>",
          "source_table": "<source-table>",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "<destination-table>"
        }
      }
    ]
  }
}
"""

一般的なパターン

高度なパイプライン構成の詳細については、「管理された取り込みパイプラインの一般的なパターン」を参照してください。

要件​

取り込みパイプラインを作成する​

変更する値​

パイプライン定義テンプレート​

一般的なパターン​

その他のリソース​

要件

取り込みパイプラインを作成する

変更する値

パイプライン定義テンプレート

一般的なパターン

その他のリソース