Pular para o conteúdo principal

Ingerir dados do Zoho CRM

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador de workspace deve habilitar o Lakeflow Connect para Zoho CRM na página Previews . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão do Zoho CRM gerenciado usando o Lakeflow Connect.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless precisa estar habilitado para o seu workspace. Consulte Requisitos de compute Serverless.

    • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo completando os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • Você deve ter privilégios de USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios de CREATE SCHEMA no catálogo de destino.

  • Para ingerir do Zoho CRM, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para Zoho CRM e Criar uma conexão Zoho CRM.

Opções do conector​

Defina opções de escopo de pipeline em source_configurations. Consulte Exemplos para uso.

Opção

Escopo

Obrigatório

Aplica-se a

Descrição

start_datetime

Pipeline

Sim

Todas as tabelas incrementais

Data e hora mais antigas a partir das quais os dados serão ingeridos, no formato yyyy-MM-ddTHH:mm:ssXXX (por exemplo, 2024-01-01T00:00:00+00:00). Aplica-se somente à primeira sincronização de cada tabela; as sincronizações posteriores continuam a partir do cursor armazenado.

Opção

Escopo

Obrigatório

Aplica-se a

Descrição

start_datetime

Pipeline

Sim

Todas as tabelas incrementais

Data e hora mais antigas a partir das quais os dados serão ingeridos, no formato yyyy-MM-ddTHH:mm:ssXXX (por exemplo, 2024-01-01T00:00:00+00:00). Aplica-se somente à primeira sincronização de cada tabela; as sincronizações posteriores continuam a partir do cursor armazenado.

Criar um pipeline de ingestão​

Para a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
  2. Na página Adicionar dados , em conectores Databricks , clique em Zoho CRM .
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Zoho CRM. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Zoho CRM.
  4. Clique em Avançar .
  5. Na página Configuração de ingestão , insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Para Data e hora de começar , insira a data e hora mais antigas a partir das quais ingerir dados (por exemplo, 2024-01-01T00:00:00+00:00). Consulte Opções do conector.
  8. Clique em Criar pipeline e continuar .
  9. Na página Fonte , selecione as tabelas para ingestão.
  10. Clique em Salvar e continuar .
  11. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  12. Clique em Salvar e continuar .
  13. (Opcional) Na página Programações e notificações , clique em Ícone de mais. Criar programar . Defina a frequência para refresh as tabelas de destino.
  14. (Opcional) Clique em Ícone de mais. Adicionar notificação para definir notificações por email para o sucesso ou falha da execução do pipeline e, em seguida, clique em Salvar e executar pipeline .

Exemplos​

O conector Zoho CRM disponibiliza suas tabelas de origem no esquema de origem default. Ingira tabelas individuais ou todo o esquema. Todo pipeline deve definir start_datetime.

Ingerir tabelas específicas​

Use essa opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Zoho CRM:

YAML
resources:
pipelines:
zoho_crm_pipeline:
name: zoho_crm_pipeline
catalog: 'main'
target: 'zoho_crm_data'
ingestion_definition:
connection_name: zoho_crm_connection
source_configurations:
- api_source_connector_config:
configs:
start_datetime: '<start-datetime>'
objects:
- table:
source_schema: 'default'
source_table: 'leads'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'leads'
- table:
source_schema: 'default'
source_table: 'contacts'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'contacts'
- table:
source_schema: 'default'
source_table: 'deals'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'
destination_table: 'deals'

Ingerir o esquema inteiro​

Use esta opção para ingerir todas as tabelas de origem do Zoho CRM, incluindo tabelas de módulo personalizadas, em um único esquema de destino com uma declaração.

O seguinte arquivo de definição de pipeline ingere todas as tabelas do Zoho CRM suportadas em um esquema de destino:

YAML
resources:
pipelines:
zoho_crm_pipeline:
name: zoho_crm_pipeline
catalog: 'main'
target: 'zoho_crm_data'
ingestion_definition:
connection_name: zoho_crm_connection
source_configurations:
- api_source_connector_config:
configs:
start_datetime: '<start-datetime>'
objects:
- schema:
source_schema: 'default'
destination_catalog: 'main'
destination_schema: 'zoho_crm_data'

Arquivo de definição de job de Pacotes de Automação Declarativa​

O seguinte é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é execução diariamente.

YAML
resources:
jobs:
zoho_crm_job:
name: zoho_crm_job
schedule:
quartz_cron_expression: '0 0 0 * * ?'
timezone_id: 'UTC'
tasks:
- task_key: zoho_crm_ingestion
pipeline_task:
pipeline_id: ${resources.pipelines.zoho_crm_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos os passos​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Recursos adicionais​