Criar um pipeline de ingestão do ServiceNow

Este artigo descreve como criar uma ingestão do ServiceNow pipeline usando Databricks LakeFlow Connect.

Antes de começar

Para criar um pipeline de ingestão, o senhor deve atender aos seguintes requisitos:

• Seu workspace deve estar habilitado para o Unity Catalog.

• O compute sem servidor deve estar habilitado para o seu workspace. Consulte os requisitos do compute sem servidor.

• Se você planeja criar uma nova conexão: você deve ter privilégios CREATE CONNECTION na metastore.

  Se o conector oferecer suporte à criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam o pipeline usarem a criação pipeline baseada em API ou não forem usuários administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Veja Conectar às fontes de ingestão de gerenciar.

• Se você planeja usar uma conexão existente: você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

• Você deve ter privilégios USE CATALOG no catálogo de destino.

• Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

Para ingerir a partir do ServiceNow, consulte Configurar o ServiceNow para ingestão do Databricks.

Criar o pipeline de ingestão

Permissões necessárias: USE CONNECTION ou ALL PRIVILEGES em uma conexão.

Esta etapa descreve como criar o pipeline de ingestão. Cada tabela ingerida é gravada em uma tabela de transmissão com o mesmo nome.

Databricks UI

1. Na barra lateral do site Databricks workspace, clique em ingestão de dados .

2. Na página Adicionar dados , em Conectores do Databricks , clique em ServiceNow .

   O assistente de ingestão é aberto.

3. Na página Ingestion pipeline (Pipeline de ingestão ) do assistente, digite um nome exclusivo para o pipeline.

4. No menu suspenso Catálogo de destino , selecione um catálogo. Os dados ingeridos e o evento logs serão gravados nesse catálogo. Você selecionará um esquema de destino posteriormente.

5. Selecione a conexão do Unity Catalog que armazena as credenciais necessárias para acessar os dados de origem.

   Se não houver conexões existentes com a origem, clique em Create connection (Criar conexão ) e insira os detalhes de autenticação que o senhor obteve em Configure ServiceNow for Databricks ingestion (Configurar ingestão do ServiceNow para Databricks). Você deve ter privilégios CREATE CONNECTION na metastore.

6. Clique em Create pipeline (Criar pipeline) e continue .

7. Na página Origem , selecione as tabelas a serem ingeridas e clique em Avançar .

   Se você selecionar Todas as tabelas , o conector gravará todas as tabelas existentes e futuras no esquema de origem no esquema de destino. Há um máximo de 250 mesas por pipeline.

8. Na página Destination (Destino ), selecione o catálogo e o esquema do Unity Catalog para gravar.

   Se você não quiser usar um esquema existente, clique em Criar esquema . Você deve ter privilégios USE CATALOG e CREATE SCHEMA no catálogo principal.

9. Clique em Save pipeline (Salvar pipeline) e continue .

10. (Opcional) Na página Settings (Configurações ), clique em Create programar (Criar programa ). Defina a frequência para refresh as tabelas de destino.

11. (Opcional) Defina as notificações do site email para o sucesso ou fracasso das operações do pipeline.

12. Clique em Save e execute pipeline .

Databricks notebook

1. Gere um access token pessoal e copie os tokens para poder colá-los em um Notebook mais tarde. Consulte Criar access tokens pessoais para usuários workspace.

2. Importe o seguinte Notebook para o site workspace:

Criar um pipeline de ingestão do ServiceNow

Open notebook in new tab

3. Modifique os seguintes valores no Notebook:

   Célula 1:

   • api_token: Os tokens de acesso pessoal que o senhor gerou

   Célula 3:

   • name: Um nome para o pipeline

   • connection_name: O nome da conexão do Unity Catalog que o senhor criou no Catalog Explorer (Catalog > External data > Connections ). Se você não tiver uma conexão existente com a fonte, poderá criar uma. Você deve ter o privilégio CREATE CONNECTION na metastore.

   • source_table: O nome da tabela de origem

   • destination_catalog: um nome para o catálogo de destino que conterá os dados ingeridos

   • destination_schema: um nome para o esquema de destino que conterá os dados ingeridos

   • scd_type: O método SCD a ser usado: SCD_TYPE_1 ou SCD_TYPE_2.

   • include_columns: opcionalmente, especifique uma lista de colunas a serem incluídas para ingestão. Se o senhor usar essa opção para incluir colunas explicitamente, o pipeline excluirá automaticamente as colunas que forem adicionadas à origem no futuro. Para ingerir as colunas futuras, você precisará adicioná-las à lista.

   • exclude_columns: opcionalmente, especifique uma lista de colunas a serem excluídas da ingestão. Se o senhor usar essa opção para excluir explicitamente as colunas, o pipeline incluirá automaticamente as colunas que forem adicionadas à origem no futuro. Para ingerir as colunas futuras, você precisará adicioná-las à lista.

     Para obter mais informações, consulte Enable história acompanhamento (SCD type 2).

4. Clique em Executar tudo .

Databricks CLI

O senhor pode usar as seguintes propriedades de configuração de tabela na definição do pipeline para selecionar ou desmarcar colunas específicas para ingestão:

• include_columns: opcionalmente, especifique uma lista de colunas a serem incluídas para ingestão. Se o senhor usar essa opção para incluir colunas explicitamente, o pipeline excluirá automaticamente as colunas que forem adicionadas à origem no futuro. Para ingerir as colunas futuras, você precisará adicioná-las à lista.
• exclude_columns: opcionalmente, especifique uma lista de colunas a serem excluídas da ingestão. Se o senhor usar essa opção para excluir explicitamente as colunas, o pipeline incluirá automaticamente as colunas que forem adicionadas à origem no futuro. Para ingerir as colunas futuras, você precisará adicioná-las à lista.

Para criar o pipeline:

SQL

databricks pipelines create --json "<pipeline definition or json file path>"

Para editar o pipeline:

SQL

databricks pipelines update --json "<pipeline definition or json file path>"

Para obter a definição do pipeline:

SQL

databricks pipelines get "<pipeline-id>"

Para excluir o pipeline:

SQL

databricks pipelines delete "<pipeline-id>"

Para obter mais informações, execute:

SQL

databricks pipelines --help
databricks pipelines <create|update|get|delete|...> --help

Exemplo de definição de pipeline JSON:

JSON

"ingestion_definition": {

     "connection_name": "<connection-name>",

     "objects": [

       {

         "table": {

           "source_schema": "<source-schema>",

           "source_table": "<source-table>",

           "destination_catalog": "<destination-catalog>",

           "destination_schema": "<destination-schema>",

           "table_configuration": {

              "scd_type": "SCD_TYPE_2",

              "include_columns": ["<column-a>", "<column-b>", "<column-c>"]

           }

         }

       }

     ]

 }

Recurso adicional

• Limites do conector
• solução de problemas de tubulação
• Referência do conector
• Perguntas frequentes sobre conectores
• manutenção de tubulações
• Padrões comuns:
  • Criar pipeline de vários destinos
  • Selecione colunas a serem ingeridas
  • Renomear uma tabela ingerida
  • Habilitar o acompanhamento da história (SCD type 2)