Crie um pipeline de ingestão do Zendesk Support.

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Esta página descreve como criar um pipeline de ingestão do Zendesk Support usando Databricks LakeFlow Connect.

Pré-requisitos

Para criar um pipeline de ingestão, você deve atender aos seguintes requisitos:

• Seu workspace deve estar habilitado para o Unity Catalog.

• compute sem servidor (serverless compute) deve estar habilitado para seu workspace. Consulte os requisitos compute sem servidor.

• Se você planeja criar uma nova conexão: Você deve ter privilégios CREATE CONNECTION no metastore.

  Se o conector suportar a criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline simultaneamente, concluindo os passos desta página. No entanto, se os usuários que criam pipelines utilizarem a criação pipeline baseada em API ou não forem administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar para gerenciar fontes de ingestão.

• Se você planeja usar uma conexão existente: Você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

• Você deve ter privilégios USE CATALOG no catálogo de destino.

• Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

Para importar dados do Zendesk Support, você deve concluir as etapas descritas em Configurar o Zendesk Support para OAuth.

Crie o pipeline de ingestão.

Databricks Asset Bundles

1. Crie um novo pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição de pipeline (resources/zendesk_pipeline.yml).
   • Um arquivo de fluxo de trabalho que controla a frequência de ingestão de dados (resources/zendesk_job.yml).

   Segue abaixo um exemplo de arquivo resources/zendesk_pipeline.yml :

   YAML

   variables:
     destination_catalog:
       default: main
     destination_schema:
       default: ingest_destination_schema
   
   # The main pipeline for zendesk_dab
   resources:
     pipelines:
       pipeline_zendesk:
         name: zendesk_pipeline
         catalog: ${var.destination_catalog}
         target: ${var.destination_schema}
         ingestion_definition:
           connection_name: zendesk_connection
           objects:
             - table:
                 source_schema: <source-schame-name>
                 source_table: <source-table-name>
                 destination_catalog: ${var.destination_catalog}
                 destination_schema: ${var.destination_schema}

   Segue abaixo um exemplo de arquivo resources/zendesk_job.yml :

   YAML

   resources:
     jobs:
       zendesk_dab_job:
         name: zendesk_dab_job
   
         trigger:
           # Run this job every day, exactly one day from the last run
           # See https://docs.databricks.com/api/workspace/jobs/create#trigger
           periodic:
             interval: 1
             unit: DAYS
   
         email_notifications:
           on_failure:
             - <email-address>
   
         tasks:
           - task_key: refresh_pipeline
             pipeline_task:
               pipeline_id: ${resources.pipelines.pipeline_zendesk.id}

3. Implante o pipeline usando a CLI Databricks :

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte Notebook para o seu workspace Databricks .

Crie um pipeline de ingestão do Zendesk Support.

Open notebook in new tab

2. Modifique os seguintes valores na célula 3:

   • pipeline_nameUm nome exclusivo para seu pipeline de ingestão.
   • connection_name: O nome da conexão do Unity Catalog da configuração de origem.
   • source_schema: O nome do esquema que contém seus dados de origem.
   • source_table: O nome da tabela que você deseja importar. Para obter uma lista das tabelas de origem compatíveis, consulte a referência do conector do Zendesk Support.
   • destination_schema: O esquema no qual você deseja escrever.
   • destination_table: (Opcional) O nome da tabela de transmissão de destino. Se você não fornecer um nome, o conector atribuirá automaticamente à tabela de destino o mesmo nome da tabela de origem.

Padrões comuns

Opcionalmente configure opções avançadas, como história acompanhamento (SCD tipo 2). Consulte Padrões comuns para gerenciar o pipeline de ingestão.

Recursos adicionais

• Limitações do conector do Zendesk Support
• Referência do conector do Zendesk Support
• Solucionar problemas do conector do Zendesk Support