Anaplan からデータを取り込む
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
このページでは、Lakeflow Connect を使用して管理対象の Anaplan インジェストパイプラインを作成する方法について説明します。
要件
-
取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。
-
ワークスペースでUnity Catalogが有効になっている必要があります。
-
ワークスペースで Serverless コンピュートが有効になっている必要があります。Serverless コンピュートの要件を参照してください。
-
新しい接続を作成するには、メタストアに対する
CREATE CONNECTION権限が必要です。Unity Catalog での特権の管理を参照してください。コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。
-
既存の接続を使用するには、接続オブジェクトに対する
USE CONNECTION権限またはALL PRIVILEGESが必要です。 -
ターゲットカタログに対する
USE CATALOG権限が必要です。 -
既存のスキーマに対する
USE SCHEMA権限およびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。
-
-
Anaplan から取り込むには、まず Databricks から認証を構成し、接続を作成します。「Anaplan への認証の構成」と「Anaplan 接続の作成」を参照してください。
コネクターオプション
個別のオブジェクトでテーブルスコープのオプションを設定します。使用方法については、例を参照してください。
オプション | スコープ | 必須 | 適用対象 | 説明 |
|---|---|---|---|---|
| テーブル | No |
| 初回の同期時に取り込む最も早い監査イベント(ISO 8601 UTC Timestamp など(例: |
取り込みパイプラインを作成する
サポートされているソーステーブルの一覧については、サポートされているソーステーブルを参照してください。
- Databricks UI
- Declarative Automation Bundles
- Databricks notebook
- Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
- データの追加 ページの Databricks コネクタ で、 Anaplan をクリックします。
- 取り込みウィザードの「接続」ページで、Anaplan の認証情報を保存する接続を選択します。メタストアに
CREATE CONNECTION特権がある場合は、接続の作成 をクリックして、Anaplan の認証を構成から認証情報を使用して接続を作成します。
- 次へ をクリックします。
- インジェスト設定 ページで、パイプラインの名前を入力します。
- イベント Logs を書き込むカタログとスキーマを選択します。カタログに対する
USE CATALOG権限とCREATE SCHEMA権限がある場合は、ドロップダウンメニューでスキーマの作成 をクリックしてスキーマを作成します。
- パイプラインの作成および続行 をクリックします。
- ソース ページで、取り込むテーブルを選択します。
- 保存して続行 をクリックします。
- カタログとデータを読み込むスキーマを選択する 宛先 ページで、
USE CATALOG権限とCREATE SCHEMA権限がカタログにある場合は、ドロップダウンメニューでスキーマを作成 をクリックしてスキーマを作成します。
- 保存して続行 をクリックします。
- (オプション) スケジュールと通知 ページで、
スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
- (オプション)
通知の追加 をクリックしてパイプライン操作の成否に関するEメール通知を設定し、 保存してパイプラインを実行 をクリックします。
宣言型オートメーションバンドルを使用して、Anaplan パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース(開発、ステージング、本番運用など)で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは?」をご覧ください。
-
Databricks CLI を使用してバンドルを作成します。
Bashdatabricks bundle init -
バンドルに2つの新しいリソースファイルを追加します:
- パイプライン定義ファイル(例:
resources/anaplan_pipeline.yml)。「pipeline.ingestion_definition」を参照してください。および例。 - データ取り込みの頻度を制御するジョブ定義ファイル(例:
resources/anaplan_job.yml)。
- パイプライン定義ファイル(例:
-
Databricks CLIを使用してパイプラインをデプロイします:
Bashdatabricks bundle deploy
- 次のノートブックを Databricks ワークスペースにインポートします。
-
1番目と2番目のセルはそのままとします。変更しないでください。
-
パイプライン構成の詳細を使用してセル 3 を変更します。パイプライン.ingestion_definition を参照してください。および 例。
-
必要に応じて高度なパイプライン設定を行います。管理された取り込みパイプラインの一般的なパターンを参照してください。
-
「 すべて実行 」をクリックします。
例
Anaplan コネクタにより、default ソーススキーマで 2 つのソーステーブルを利用できるようになります。個々のテーブルまたはスキーマ全体を取り込みます。
特定のテーブルを取り込む
このオプションを使用して、テーブルの特定のサブセットを取り込むか、テーブルごとの宛先命名をカスタマイズします。
- Declarative Automation Bundles
- Databricks notebook
次のパイプライン定義ファイルは、個別の Anaplan テーブルを取り込みます。
resources:
pipelines:
anaplan_pipeline:
name: anaplan_pipeline
catalog: 'main'
target: 'anaplan_data'
ingestion_definition:
connection_name: anaplan_connection
objects:
- table:
source_schema: 'default'
source_table: 'audit_events'
destination_catalog: 'main'
destination_schema: 'anaplan_data'
destination_table: 'audit_events'
connector_options:
api_source_connector_options:
options:
start_datetime: '<start-datetime>'
- table:
source_schema: 'default'
source_table: 'users'
destination_catalog: 'main'
destination_schema: 'anaplan_data'
destination_table: 'users'
次のパイプライン仕様では、個別の Anaplan テーブルを取り込みます。
pipeline_name = "anaplan_pipeline"
connection_name = "<anaplan-connection>"
pipeline_spec = {
"name": pipeline_name,
"catalog": "main",
"schema": "anaplan_data",
"ingestion_definition": {
"connection_name": connection_name,
"objects": [
{
"table": {
"source_schema": "default",
"source_table": "audit_events",
"destination_catalog": "main",
"destination_schema": "anaplan_data",
"destination_table": "audit_events",
"connector_options": {
"api_source_connector_options": {
"options": {
"start_datetime": "<start-datetime>"
}
}
}
}
},
{
"table": {
"source_schema": "default",
"source_table": "users",
"destination_catalog": "main",
"destination_schema": "anaplan_data",
"destination_table": "users"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
スキーマ全体を取り込む
このオプションを使用して、1 つの宣言ですべての Anaplan ソース テーブルを単一の宛先スキーマに取り込みます。
- Declarative Automation Bundles
- Databricks notebook
次のパイプライン定義ファイルは、サポートされているすべての Anaplan テーブルを宛先スキーマに取り込みます:
resources:
pipelines:
anaplan_pipeline:
name: anaplan_pipeline
catalog: 'main'
target: 'anaplan_data'
ingestion_definition:
connection_name: anaplan_connection
objects:
- schema:
source_schema: 'default'
destination_catalog: 'main'
destination_schema: 'anaplan_data'
次のパイプライン仕様では、サポートされているすべての Anaplan テーブルが送信先スキーマに取り込まれます。
pipeline_name = "anaplan_pipeline"
connection_name = "<anaplan-connection>"
pipeline_spec = {
"name": pipeline_name,
"catalog": "main",
"schema": "anaplan_data",
"ingestion_definition": {
"connection_name": connection_name,
"objects": [
{
"schema": {
"source_schema": "default",
"destination_catalog": "main",
"destination_schema": "anaplan_data"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
Declarative Automation Bundles ジョブ定義ファイル
以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。
- Declarative Automation Bundles
resources:
jobs:
anaplan_job:
name: anaplan_job
schedule:
quartz_cron_expression: '0 0 0 * * ?'
timezone_id: 'UTC'
tasks:
- task_key: anaplan_ingestion
pipeline_task:
pipeline_id: ${resources.pipelines.anaplan_pipeline.id}
一般的なパターン
高度なパイプライン構成については、管理対象インジェストパイプラインの一般的なパターンを参照してください。
次のステップ
パイプラインの起動、スケジュール設定、およびアラートの設定を行います。「一般的なパイプラインのメンテナンス タスク」を参照してください。