NetSuite取り込みパイプラインを作成する

備考

プレビュー

NetSuite コネクタはパブリックプレビュー段階です。

Databricks APIsまたはDatabricks CLIを使用して NetSuite インジェストパイプラインを作成する方法を学びます。データ取り込み UI ウィザードを使用して NetSuite パイプラインを作成することはできません。

要件

始める前に、次の要件を満たしている必要があります。

ワークスペースに対して、 LakeFlow Spark宣言型パイプラインを有効にする必要があります。「サーバレスパイプラインの構成」を参照してください。
NetSuite へのUnity Catalog接続が必要です。「Databricks および NetSuiteへの取り込み用に NetSuite を構成する」を参照してください。
Unity Catalog接続には、次のいずれかの権限が必要です: USE CONNECTIONまたはALL PRIVILEGES 。
ターゲットカタログに対するUSE CATALOG権限が必要です。
ターゲットスキーマに対して次のいずれかの権限セットを持っている必要があります。
- USE SCHEMA、 CREATE TABLE 、 CREATE VOLUME （既存のスキーマ）
- CREATE SCHEMA 対象カタログ

SuiteAnalytics Connect JDBCドライバーをダウンロードする

NetSuite コネクタを使用するには、SuiteAnalytics Connect JDBCドライバーJARファイルをUnity Catalogボリュームにアップロードする必要があります。

NetSuite アカウントにログインします。
[設定] ポートレットで、 [アナリティクス接続のセットアップ] を クリックします。
JAR ファイルをローカルマシンにダウンロードします。

Unity Catalogボリュームを作成する

JAR ファイルを保存するためのボリュームを作成します。

「ボリュームの作成」を参照してください。

NetSuite 取り込みパイプラインを作成するユーザーは、このボリュームにアクセスできる必要があります。

JARファイルをボリュームにアップロードします

Databricks UI
Databricks CLI

カタログ ペインで、作成したボリュームに移動します。
ボリュームにアップロードを クリックします。
ダウンロードした JAR ファイルを選択し、 「アップロード」 をクリックします。

Bash
databricks fs cp /local/path/to/NQjc.jar dbfs:/Volumes/<catalog>/<schema>/<volume>/NQjc.jar

パイプラインを作成する

ノートブックまたは Databricks CLI を使用して、NetSuite インジェストパイプラインを作成できます。データ取り込み UI ウィザードは、NetSuite パイプラインではサポートされていません。

Databricksノートブック

ワークスペースユーザー向けに個人的なアクセスアカウントを作成します。
次のノートブックをワークスペースにインポートします。

NetSuite取り込みパイプラインノートブックを作成する

Open notebook in new tab

セル #1 で、 api-tokenの値を置き換えます。
セル #2 の値はそのままにしておきます。このセルを変更しないでください。
セル #3 の次の値を変更します。
- pipeline_name: Netsuite 取り込みパイプラインの名前。
- connection_name: NetSuite の認証詳細を保存するUnity Catalog接続の名前。
- destination_catalog: コネクタが書き込むカタログ。
- destination_schema: コネクタが書き込むスキーマ。
- source_tables: 取り込むテーブル。
(オプション) 単一のパイプラインで複数のテーブルを取り込むには、 objects配列にテーブルを追加します。パイプラインあたりのテーブルの最大数は 200 です。
「 すべて実行 」をクリックします。

Databricks CLI

JSON 構成ファイルを使用して Databricks CLI を使用し、NetSuite パイプラインを作成できます。

次の内容を含むnetsuite-pipeline.jsonという名前の JSON ファイルを作成します。

JSON
{
  "name": "<pipeline-name>",
  "catalog": "<destination-catalog>",
  "target": "<destination-schema>",
  "serverless": true,
  "ingestion_definition": {
    "connection_name": "<netsuite-connection-name>",
    "table_configuration": {
      "netsuite_jar_path": "/Volumes/<catalog>/<schema>/<volume>/NQjc.jar"
    },
    "objects": [
      {
        "table": {
          "source_schema": "netsuite2",
          "source_table": "<table-name>",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1"
          }
        }
      }
    ]
  }
}

プレースホルダーの値を置き換えます。
- <pipeline-name>: 取り込みパイプラインの一意の名前。
- <destination-catalog>: 取り込まれたデータが書き込まれるカタログ。
- <destination-schema>: 取り込まれたデータが書き込まれるスキーマ。
- <netsuite-connection-name>: 作成したUnity Catalog接続の名前。
- <catalog>/<schema>/<volume>: NetSuite JAR ファイルをアップロードしたボリュームへのパス。
- <table-name>: 取り込む NetSuite テーブルの名前。
Databricks CLI を使用してパイプラインを作成します。
Bash
```
databricks pipelines create --json @netsuite-pipeline.json
```

要件​

SuiteAnalytics Connect JDBCドライバーをダウンロードする​

Unity Catalogボリュームを作成する​

JARファイルをボリュームにアップロードします​

パイプラインを作成する​

Databricksノートブック​

NetSuite取り込みパイプラインノートブックを作成する

Databricks CLI​

追加のリソース​

要件