Zoho CRMからデータを取り込む
ベータ版
この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Zoho CRM向けLakeflow Connect を有効にする必要があります。Databricksのプレビューを管理を参照してください。
このページでは、Lakeflow Connect を使用してマネージド Zoho CRM インジェストパイプラインを作成する方法を示します。
要件
-
取り込み パイプラインを作成するには、まず次の要件を満たす必要があります。
-
ワークスペースでUnity Catalogが有効になっている必要があります。
-
Serverless コンピュートがワークスペースで有効になっている必要があります。Serverless コンピュートの要件を参照してください。
-
新しい接続を作成するには、メタストアに対する
CREATE CONNECTION特権が必要です。Unity Catalog での権限の管理を参照してください。コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。
-
既存の接続を使用するには、接続オブジェクトに対する
USE CONNECTION権限またはALL PRIVILEGES権限が必要です。 -
ターゲットカタログに対する
USE CATALOG権限が必要です。 -
既存のスキーマに対する
USE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。
-
-
Zoho CRMから取り込むには、まずDatabricksからの認証を設定し、接続を作成します。Zoho CRMへの認証の設定とZoho CRM接続の作成を参照してください。
コネクターのオプション
source_configurations でパイプラインスコープのオプションを設定します。使用例については、例を参照してください。
オプション | スコープ | 必須 | 適用対象 | 説明 |
|---|---|---|---|---|
| パイプライン | はい | すべての増分テーブル | データ取り込みを開始する最も早い日時( |
取り込みパイプラインを作成
サポートされているソーステーブルのリストについては、「サポートされているソーステーブル」を参照してください。
- Declarative Automation Bundles
- Databricks notebook
宣言型オートメーションバンドルを使用して、Zoho CRM パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース(開発、ステージング、本番運用など)で共有およびランを実行できます。情報については、「宣言型オートメーションバンドルとは?」をご覧ください。
-
Databricks CLIを使用してバンドルを作成するには、次の手順を実行します。
Bashdatabricks bundle init -
バンドルに新しいリソースファイルを2つ追加します:
- パイプライン定義ファイル(例:
resources/zoho_crm_pipeline.yml)。パイプライン.ingestion_definition を参照してください。および 例。 - データ取り込みの頻度を制御するジョブ定義ファイル(例:
resources/zoho_crm_job.yml)。
- パイプライン定義ファイル(例:
-
Databricks CLIを使用してパイプラインをデプロイする:
Bashdatabricks bundle deploy
- 以下のノートブックをDatabricksワークスペースにインポートします。
-
セル1とセル2はそのままにしておいてください。変更しないでください。
-
セル3を、パイプラインの設定詳細で変更します。パイプライン.ingestion_definitionを参照してください。および例。
-
オプションで、パイプラインの詳細設定を行います。管理された取り込みパイプラインの一般的なパターンを参照してください。
-
「 すべて実行 」をクリックします。
例
Zoho CRM コネクタは、default ソーススキーマでソーステーブルを利用可能にします。個々のテーブルまたはスキーマ全体を取り込みます。すべてのパイプラインでstart_datetimeを設定する必要があります。
特定のテーブルの取り込み
このオプションを使用して、テーブルの特定のサブセットを取り込んだり、テーブルごとの宛先命名をカスタマイズしたりします。
- Declarative Automation Bundles
- Databricks notebook
次のパイプライン定義ファイルは、個別のZoho CRMテーブルを取り込みます。
resources:
pipelines:
zoho_crm_pipeline:
name: zoho_crm_pipeline
catalog: 'main'
target: 'zoho_crm_data'
ingestion_definition:
connection_name: zoho_crm_connection
source_configurations:
- api_source_connector_config:
configs:
start_datetime: '<start-datetime>'
objects:
- table:
source_schema: 'default'
source_table: 'leads'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'leads'
- table:
source_schema: 'default'
source_table: 'contacts'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'contacts'
- table:
source_schema: 'default'
source_table: 'deals'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'deals'
以下のパイプライン仕様は、個々の Zoho CRM テーブルを取り込みます:
pipeline_name = "zoho_crm_pipeline"
connection_name = "<zoho-crm-connection>"
pipeline_spec = {
"name": pipeline_name,
"ingestion_definition": {
"connection_name": connection_name,
"source_configurations": [
{
"api_source_connector_config": {
"configs": {
"start_datetime": "<start-datetime>"
}
}
}
],
"objects": [
{
"table": {
"source_schema": "default",
"source_table": "leads",
"destination_catalog": "main",
"destination_schema": "zoho_crm_data",
"destination_table": "leads"
}
},
{
"table": {
"source_schema": "default",
"source_table": "contacts",
"destination_catalog": "main",
"destination_schema": "zoho_crm_data",
"destination_table": "contacts"
}
},
{
"table": {
"source_schema": "default",
"source_table": "deals",
"destination_catalog": "main",
"destination_schema": "zoho_crm_data",
"destination_table": "deals"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
スキーマ全体を取り込む
このオプションを使用すると、カスタムモジュールテーブルを含むすべての Zoho CRM ソーステーブルを、1 つの宣言で 1 つの変換先スキーマに取り込むことができます。
- Declarative Automation Bundles
- Databricks notebook
次のパイプライン定義ファイルは、サポートされているすべての Zoho CRM テーブルを宛先スキーマに取り込みます。
resources:
pipelines:
zoho_crm_pipeline:
name: zoho_crm_pipeline
catalog: 'main'
target: 'zoho_crm_data'
ingestion_definition:
connection_name: zoho_crm_connection
source_configurations:
- api_source_connector_config:
configs:
start_datetime: '<start-datetime>'
objects:
- schema:
source_schema: 'default'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
以下のパイプライン仕様は、サポートされているすべての Zoho CRM テーブルを宛先スキーマに取り込みます。
pipeline_name = "zoho_crm_pipeline"
connection_name = "<zoho-crm-connection>"
pipeline_spec = {
"name": pipeline_name,
"ingestion_definition": {
"connection_name": connection_name,
"source_configurations": [
{
"api_source_connector_config": {
"configs": {
"start_datetime": "<start-datetime>"
}
}
}
],
"objects": [
{
"schema": {
"source_schema": "default",
"destination_catalog": "main",
"destination_schema": "zoho_crm_data"
}
}
]
}
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)
宣言型オートメーションバンドルジョブ定義ファイル
以下に、宣言型自動化バンドルで使用するためのジョブ定義ファイルの例を示します。このジョブは毎日実行されます。
- Declarative Automation Bundles
resources:
jobs:
zoho_crm_job:
name: zoho_crm_job
schedule:
quartz_cron_expression: '0 0 0 * * ?'
timezone_id: 'UTC'
tasks:
- task_key: zoho_crm_ingestion
pipeline_task:
pipeline_id: ${resources.pipelines.zoho_crm_pipeline.id}
一般的なパターン
高度なパイプライン構成については、マネージドインジェクションパイプラインの一般的なパターンを参照してください。
次のステップ
パイプラインの起動、スケジュール、アラートの設定。一般的なパイプラインのメンテナンス タスクを参照してください。