Reddit Adsからデータを取り込みます
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
Reddit Ads から Databricks にデータを取り込む管理された取り込みパイプラインを作成する方法をご覧ください。
要件
-
取り込み パイプラインを作成するには、次の要件を満たす必要があります。
-
ワークスペースでUnity Catalogが有効になっている必要があります。
-
Serverless コンピュートはワークスペースで有効にする必要があります。「Serverless コンピュートの要件」を参照してください。
-
新しい接続を作成するには、メタストアに対する
CREATE CONNECTION権限が必要です。Unity Catalogでの特権の管理を参照してください。コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。
-
既存の接続を使用するには、接続オブジェクトに対して
USE CONNECTION権限またはALL PRIVILEGES権限が必要です。 -
ターゲット カタログに対する
USE CATALOG権限が必要です。 -
既存のスキーマに対する
USE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。
-
-
Reddit Ads から取り込むには、Reddit Ads 接続を作成するのステップを完了する必要があります。
ソーススキーマ
Reddit Ads は、テーブルをソース スキーマ (名前空間) に整理します:
ad_accountエンティティテーブルは、特別なdefaultスキーマ(source_schema: "default")にあります。認証済みユーザーがアクセスできる広告アカウントの一覧が表示されます。- すべてのアカウントスコープのテーブル(
campaign、ad_group、ad、およびすべてのレポートテーブル)は、広告アカウントID(source_schema: "<ad_account_id>")という名前のスキーマ下にあります。
取り込みパイプラインを作成
- Databricks UI
- Declarative Automation Bundles
- Databricks notebook
- Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
- データの追加 ページの Databricks コネクタ で、 Reddit Ads をクリックします。
- 取り込みウィザードの 接続 ページで、Reddit Ads アクセス資格情報を保存している接続を選択します。メタストアで
CREATE CONNECTION特権を持っている場合は、接続の作成 をクリックして、Reddit Ads 接続の作成にある認証詳細情報を使用して新しい接続を作成できます。
- 次へ をクリックします。
- Ingestion setup ページで、パイプラインの一意の名前を入力します。
- イベント event Logs を書き込むカタログとスキーマを選択します。カタログに対する
USE CATALOGおよびCREATE SCHEMA権限がある場合、ドロップダウンメニューでスキーマを作成 をクリックして、新しいスキーマを作成できます。
- パイプラインの作成および続行 をクリックします。
- ソース ページで、取り込むテーブルを選択します。
- 保存して続行 をクリックします。
- 宛先 ページで、データをロードするカタログとスキーマを選択します。カタログに対する
USE CATALOG権限とCREATE SCHEMA権限がある場合、ドロップダウンメニューの[スキーマを作成 ] をクリックして新しいスキーマを作成できます。
- 保存して続行 をクリックします。
- (オプション) スケジュールと通知 ページで、
スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
- (オプション)
通知の追加 をクリックしてパイプライン操作の成功または失敗に関するEメール通知を設定し、 パイプラインを保存して実行 をクリックします。
このtabでは、Declarative Automation Bundles を使用して取り込みパイプラインをデプロイする方法を説明します。バンドルにはジョブとタスクのYAML定義を含めることができ、Databricks CLIを使用して管理され、さまざまなターゲットワークスペース(開発、ステージング、本番運用など)で共有およびランできます。詳細については、Declarative Automation Bundlesとは?をご覧ください。
-
Databricks CLIを使用してバンドルを作成します:
Bashdatabricks bundle init -
バンドルに2つの新しいリソースファイルを追加します:
- パイプライン定義ファイル(例:
resources/reddit_ads_pipeline.yml)。 - データ取り込みの頻度を制御するジョブ定義ファイル(例えば、
resources/reddit_ads_job.yml)。
「パイプライン.ingestion_definition」を参照してください。および例。
- パイプライン定義ファイル(例:
-
Databricks CLIを使用してパイプラインをデプロイします。
Bashdatabricks bundle deploy
- 次のノートブックを Databricks ワークスペースにインポートします。
-
セル1をそのままにしておきます。
-
ユースケースに応じて、セル2をパイプラインの構成の詳細で変更します。例を参照してください。
-
「 すべて実行 」をクリックします。
例
- Declarative Automation Bundles
- Databricks notebook
以下のパイプライン定義ファイルは、1つの広告アカウントから現在および将来のすべてのアカウントスコープのテーブルを取り込みます。
resources:
pipelines:
pipeline_reddit_ads:
name: <pipeline-name>
catalog: <destination-catalog>
target: <destination-schema>
ingestion_definition:
connection_name: <connection-name>
objects:
- schema:
source_schema: <ad-account-id>
destination_catalog: <destination-catalog>
destination_schema: <destination-schema>
connector_options:
reddit_ads_options:
sync_start_date: <sync-start-date>
lookback_window_days: <lookback-window-days>
次のパイプライン定義ファイルでは、アカウントから特定のテーブルを選択します。
resources:
pipelines:
pipeline_reddit_ads:
name: <pipeline-name>
catalog: <destination-catalog>
target: <destination-schema>
ingestion_definition:
connection_name: <connection-name>
objects:
- table:
source_schema: default
source_table: ad_account
destination_catalog: <destination-catalog>
destination_schema: <destination-schema>
- table:
source_schema: <ad-account-id>
source_table: campaign_report
destination_catalog: <destination-catalog>
destination_schema: <destination-schema>
destination_table: <destination-table>
connector_options:
reddit_ads_options:
sync_start_date: <sync-start-date>
lookback_window_days: <lookback-window-days>
以下はジョブ定義ファイルの例です。
resources:
jobs:
reddit_ads_dab_job:
name: reddit_ads_dab_job
trigger:
periodic:
interval: 1
unit: DAYS
email_notifications:
on_failure:
- <email-address>
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.pipeline_reddit_ads.id}
次のパイプライン仕様は、1つの広告アカウントから現在および将来のすべてのアカウントスコープのテーブルを取り込みます。ad_accountテーブルも取り込むには、"source_schema": "default"で2番目のオブジェクトを追加します。
pipeline_spec = {
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<connection-name>",
"objects": [
{
"schema": {
"source_schema": "<ad-account-id>",
"destination_catalog": "<destination-catalog>",
"destination_schema": "<destination-schema>",
"connector_options": {
"reddit_ads_options": {
"sync_start_date": "2024-01-01",
"lookback_window_days": 30
}
}
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
次のパイプライン仕様では、アカウントから特定のテーブルを選択します。
pipeline_spec = {
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<connection-name>",
"objects": [
{
"table": {
"source_schema": "default",
"source_table": "ad_account",
"destination_catalog": "<destination-catalog>",
"destination_schema": "<destination-schema>"
}
},
{
"table": {
"source_schema": "<ad-account-id>",
"source_table": "campaign_report",
"destination_catalog": "<destination-catalog>",
"destination_schema": "<destination-schema>",
"destination_table": "<destination-table>",
"connector_options": {
"reddit_ads_options": {
"sync_start_date": "2024-01-01",
"lookback_window_days": 30
}
}
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
カスタムレポート
既存のテーブルに加えて、選択したい正確な内訳ディメンションとメトリクスフィールドを選択できるカスタムレポートを定義できます。source_tableをcustom_reportに設定し、connector_options.reddit_ads_options.custom_report_optionsの下でレポート定義を指定します。カスタムレポートにはdestination_tableの名前が必要です。
breakdowns: グループ化するディメンション。例:CAMPAIGN_ID、DATE、COUNTRY。少なくとも1つの時間ディメンション(DATEまたはHOUR)を含める必要があります。これはテーブルの増分カーソルになります。fields:選択するメトリクスフィールド(例:IMPRESSIONS、CLICKS、SPEND)
サポートされている内訳とフィールドについては、カスタムレポートの内訳とフィールドを参照してください。
- Declarative Automation Bundles
- Databricks notebook
resources:
pipelines:
pipeline_reddit_ads_custom:
name: <pipeline-name>
catalog: <destination-catalog>
target: <destination-schema>
ingestion_definition:
connection_name: <connection-name>
objects:
- table:
source_schema: <ad-account-id>
source_table: custom_report
destination_catalog: <destination-catalog>
destination_schema: <destination-schema>
destination_table: my_ad_group_custom_report
connector_options:
reddit_ads_options:
sync_start_date: <sync-start-date>
lookback_window_days: 30
custom_report_options:
breakdowns:
- AD_GROUP_ID
- DATE
fields:
- IMPRESSIONS
- CLICKS
- SPEND
- CTR
pipeline_spec = {
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<connection-name>",
"objects": [
{
"table": {
"source_schema": "<ad-account-id>",
"source_table": "custom_report",
"destination_catalog": "<destination-catalog>",
"destination_schema": "<destination-schema>",
"destination_table": "my_ad_group_custom_report",
"connector_options": {
"reddit_ads_options": {
"sync_start_date": "2024-01-01",
"lookback_window_days": 30,
"custom_report_options": {
"breakdowns": ["AD_GROUP_ID", "DATE"],
"fields": ["IMPRESSIONS", "CLICKS", "SPEND", "CTR"]
}
}
}
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
一般的なパターン
高度なパイプライン構成については、マネージド取り込みパイプラインの一般的なパターンを参照してください。
次のステップ
パイプラインの起動、スケジュール、およびアラートを設定する。一般的なパイプラインのメンテナンス タスクを参照してください。