Salesforce マーケティングクラウドからのデータ取り込み
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
このページでは、LakeFlow Connect を使用して、管理された Salesforce マーケティング クラウド取り込みパイプラインを作成する方法について説明します。
要件
-
取り込みパイプラインを作成するには、まず、次の要件を満たす必要があります。
-
ワークスペースでUnity Catalogが有効になっている必要があります。
-
サーバレス コンピュートがワークスペースで有効になっている必要があります。サーバレス コンピュートの要件を参照してください。
-
新しい接続を作成する予定がある場合は、メタストアに対する
CREATE CONNECTION特権が必要です。Unity Catalog での特権の管理を参照してください。コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。
-
既存の接続を使用する場合:接続オブジェクトに対して
USE CONNECTIONまたはALL PRIVILEGESの権限が必要です。 -
ターゲットカタログに対する
USE CATALOG権限が必要です。 -
既存のスキーマに対する
USE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限を持っている必要があります。
-
-
Salesforce Marketing Cloud から取り込むには、Databricks への Salesforce Marketing Cloud 取り込みのための OAuth を構成するを完了し、接続を作成する必要があります。Salesforce マーケティングクラウド接続を作成するを参照してください。
取り込みパイプラインを作成
- Databricks UI
- Declarative Automation Bundles
- Databricks notebook
- Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
- **[データの追加]**ページで、**[Databricks コネクタ]**の下にある**[Salesforce マーケティング クラウド]**をクリックします。
- 取り込みウィザードの**[接続]**ページで、Salesforce Marketing Cloud のアクセス認証情報を格納する接続を選択します。メタストアに対する
CREATE CONNECTION権限がある場合は、「接続を作成 」をクリックして、Salesforce マーケティング クラウド接続の作成で認証の詳細を使用して新しい接続を作成できます。
- 次へ をクリックします。
- **インジェスト セットアップ** ページで、パイプラインの一意の名前を入力します。
- イベントログを書き込むカタログとスキーマを選択してください。カタログに対する
USE CATALOG権限とCREATE SCHEMA権限がある場合は、ドロップダウンメニューでスキーマを作成 をクリックして、新しいスキーマを作成できます。
- パイプラインの作成および続行 をクリックします。
- **ソース**ページで、取り込むテーブルを選択します。
- 保存して続行 をクリックします。
- 宛先 ページで、データを取り込むカタログとスキーマを選択します。カタログに対する
USE CATALOG権限とCREATE SCHEMA権限がある場合は、ドロップダウンメニューでスキーマを作成 をクリックして、新しいスキーマを作成できます。
- 保存して続行 をクリックします。
- (オプション) スケジュールと通知 ページで、
スケジュールを作成 をクリックします。宛先テーブルを更新する頻度を設定します。
- (オプション)
通知の追加 をクリックして、パイプライン操作の成功または失敗に関するEメール通知を設定し、次に パイプラインを保存して実行 をクリックします。
宣言型オートメーションバンドルを使用して、Salesforce マーケティング クラウドパイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース(開発、ステージング、本番運用など)で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは」をご覧ください。
-
Databricks CLIを使用してバンドルを作成するには、次の手順を実行します。
Bashdatabricks bundle init -
バンドルに2つの新しいリソースファイルを追加:
- パイプライン定義ファイル(例えば、
resources/sfmc_pipeline.yml)です。「パイプライン.ingestion_definition」を参照してください。と例 - データ取り込みの頻度を制御するジョブ定義ファイル(例:
resources/sfmc_job.yml)。
- パイプライン定義ファイル(例えば、
-
Databricks CLIを使用してパイプラインをデプロイする:
Bashdatabricks bundle deploy
- 次のノートブックをDatabricksワークスペースにインポートしてください:
-
セル 1 はそのままにします。
-
セル 2 または 3 をパイプライン構成の詳細で変更します。例を参照してください。
-
「 すべて実行 」をクリックします。
例
これらの例を使用してパイプラインを構成してください。
デフォルトのスキーマからすべてのテーブルを取り込む
- Declarative Automation Bundles
- Databricks notebook
次のパイプライン定義ファイルは、default スキーマから現在および将来のすべてのテーブルを取り込みます:
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_sfmc:
name: sfmc_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <sfmc-connection>
objects:
# Ingest all tables from the default schema
- schema:
source_schema: default
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
次のパイプライン仕様では、default スキーマから現在および将来のすべてのテーブルが取り込まれます。
pipeline_name = "sfmc_pipeline"
connection_name = "<sfmc-connection>"
pipeline_spec = {
"name": pipeline_name,
"ingestion_definition": {
"connection_name": connection_name,
"objects": [
{
"schema": {
"source_schema": "default",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
単一のソーステーブルを取り込む
- Declarative Automation Bundles
- Databricks notebook
以下のパイプライン定義ファイルは、defaultスキーマから単一のテーブルを取り込みます。
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_sfmc:
name: sfmc_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <sfmc-connection>
objects:
# Ingest the campaigns table from the default schema
- table:
source_schema: default
source_table: campaigns
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
以下のパイプライン仕様は、defaultスキーマから単一のテーブルを取り込みます。
pipeline_name = "sfmc_pipeline"
connection_name = "<sfmc-connection>"
pipeline_spec = {
"name": pipeline_name,
"ingestion_definition": {
"connection_name": connection_name,
"objects": [
{
"table": {
"source_schema": "default",
"source_table": "campaigns",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
データエクステンションの取り込み
データエクステンションからデータを取り込むには、source_tableの値として外部キーを使用してください。ソーススキーマタイプの詳細については、Salesforce Marketing Cloudコネクタのコンセプトを参照してください。
- Declarative Automation Bundles
- Databricks notebook
以下のパイプライン定義ファイルは、データ拡張機能を取り込みます。
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_sfmc:
name: sfmc_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <sfmc-connection>
objects:
# Ingest a data extension using its External Key (Customer Key)
- table:
source_schema: dataextensions
source_table: <external-key>
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
以下のパイプライン仕様はデータエクステンションを取り込みます:
pipeline_name = "sfmc_pipeline"
connection_name = "<sfmc-connection>"
pipeline_spec = {
"name": pipeline_name,
"ingestion_definition": {
"connection_name": connection_name,
"objects": [
{
"table": {
"source_schema": "dataextensions",
"source_table": "<external-key>",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
宣言型オートメーションバンドル ジョブ定義ファイル
- Declarative Automation Bundles
以下は、Declarative Automation Bundles で使用するジョブ定義ファイルの例です。ジョブは毎日、前回の実行からちょうど1日後に実行されます。
resources:
jobs:
sfmc_dab_job:
name: sfmc_dab_job
trigger:
periodic:
interval: 1
unit: DAYS
email_notifications:
on_failure:
- <email-address>
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.pipeline_sfmc.id}
一般的なパターン
高度なパイプライン構成については、「マネージド取り込みパイプラインの一般的なパターン」を参照してください。
次のステップ
パイプラインの開始、スケジュール、アラートを設定する共通パイプラインメンテナンス タスクを参照してください。