Crie um pipeline de ingestão do NetSuite.

info

Visualização

O conector NetSuite está em versão prévia pública.

Aprenda como criar um pipeline de ingestão do NetSuite usando as APIs do Databricks ou a CLI do Databricks. Você não pode criar o pipeline do NetSuite usando o assistente de interface de usuário de dados.

Requisitos

Antes de começar, você deve atender aos seguintes requisitos:

• O pipeline declarativo LakeFlow Spark sem servidor deve estar habilitado para seu workspace. Consulte Configurar um pipeline serverless.
• Você precisa ter uma conexão Unity Catalog com o NetSuite. Consulte Configurar o NetSuite para ingestão no Databricks e no NetSuite.
• Você deve ter um dos seguintes privilégios na conexão Unity Catalog : USE CONNECTION ou ALL PRIVILEGES.
• Você deve ter o privilégio USE CATALOG no catálogo de destino.
• Você deve ter um dos seguintes conjuntos de privilégios no esquema de destino:
  • USE SCHEMA, CREATE TABLE, CREATE VOLUME em um esquema existente
  • CREATE SCHEMA no catálogo de destino

Baixe o driver JDBC do SuiteAnalytics Connect.

O conector NetSuite exige que você upload o arquivo JAR do driver JDBC SuiteAnalytics Connect em um volume Unity Catalog .

1. Faça login na sua account NetSuite.
2. No painel Configurações , clique em Configurar conexão analítica .
3. Baixe o arquivo JAR para o seu computador.

Criar um volume Unity Catalog

Crie um volume para armazenar o arquivo JAR.

Consulte Criar um volume.

Os usuários que criam um pipeline de ingestão do NetSuite devem ter acesso a este volume.

Faça o upload do arquivo JAR para o volume.

Databricks UI

1. No painel Catálogo , navegue até o volume que você criou.
2. Clique em "Enviar para o volume" .
3. Selecione o arquivo JAR que você baixou e clique em "Enviar" .

Databricks CLI

Bash

databricks fs cp /local/path/to/NQjc.jar dbfs:/Volumes/<catalog>/<schema>/<volume>/NQjc.jar

Criar o pipeline

Você pode criar um pipeline de ingestão do NetSuite usando um Notebook ou a CLI Databricks . O assistente de UI de ingestão de dados não é compatível com o pipeline do NetSuite.

Notebook Databricks

1. Crie access tokens pessoais para usuários workspace.

2. Importe o seguinte Notebook para seu workspace:

Criar um notebook pipeline de ingestão do NetSuite

Open notebook in new tab

3. Na célula #1, substitua o valor de api-token.

4. Deixe os valores na célula nº 2. Não modifique esta célula.

5. Modifique os seguintes valores na célula nº 3:

   • pipeline_name: Um nome para seu pipeline de ingestão do NetSuite.
   • connection_name: O nome da conexão do Unity Catalog que armazena os detalhes de autenticação do NetSuite.
   • destination_catalog: O catálogo no qual você deseja que o conector escreva.
   • destination_schema: O esquema no qual você deseja que o conector escreva.
   • source_tablesAs tabelas a serem ingeridas.

6. (Opcional) Adicione tabelas adicionais à matriz objects para ingerir várias tabelas em um único pipeline. O número máximo de tabelas por pipeline é 200.

7. Clique em Executar tudo .

CLI do Databricks

Você pode criar um pipeline do NetSuite usando a CLI do Databricks com um arquivo de configuração JSON.

1. Crie um arquivo JSON chamado netsuite-pipeline.json com o seguinte conteúdo:

   JSON

   {
     "name": "<pipeline-name>",
     "catalog": "<destination-catalog>",
     "target": "<destination-schema>",
     "serverless": true,
     "ingestion_definition": {
       "connection_name": "<netsuite-connection-name>",
       "table_configuration": {
         "netsuite_jar_path": "/Volumes/<catalog>/<schema>/<volume>/NQjc.jar"
       },
       "objects": [
         {
           "table": {
             "source_schema": "netsuite2",
             "source_table": "<table-name>",
             "destination_catalog": "<destination-catalog>",
             "destination_schema": "<destination-schema>",
             "table_configuration": {
               "scd_type": "SCD_TYPE_1"
             }
           }
         }
       ]
     }
   }

2. Substitua os valores temporários:

   • <pipeline-name>Um nome exclusivo para o pipeline de ingestão.
   • <destination-catalog>O catálogo onde os dados ingeridos serão gravados.
   • <destination-schema>O esquema onde os dados ingeridos serão gravados.
   • <netsuite-connection-name>: O nome da conexão Unity Catalog que você criou.
   • <catalog>/<schema>/<volume>: O caminho para o volume onde você carregou o arquivo JAR do NetSuite.
   • <table-name>: O nome da tabela do NetSuite a ser incluída.

3. Crie o pipeline usando a CLI do Databricks:

   Bash

   databricks pipelines create --json @netsuite-pipeline.json

Recursos adicionais

• Limitações do conector

• Referência do conector

• manutenção de dutos

• Padrões comuns:

  • Selecione as colunas a serem ingeridas.
  • refresh completamente as tabelas de destino
  • Habilitar história envio (SCD tipo 2)
  • Criar um pipeline com múltiplos destinos
  • Tarefa comum de manutenção pipeline
  • Renomear uma tabela ingerida