Ingerir dados do ServiceNow

Aprenda como criar um pipeline de ingestão do ServiceNow usando LakeFlow Connect.

Requisitos

• Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute sem servidor deve estar habilitado para o seu workspace. Consulte os requisitos do compute sem servidor.

  • Se você planeja criar uma nova conexão: Você deve ter privilégios CREATE CONNECTION no metastore. Consulte a seção sobre privilégios de gerenciamento no Unity Catalog.

    Se o conector oferecer suporte à criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam o pipeline usarem a criação pipeline baseada em API ou não forem usuários administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Veja Conectar às fontes de ingestão de gerenciar.

  • Se você planeja usar uma conexão existente: você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para importar dados do ServiceNow, primeiro você precisa concluir os passos descritos em Configurar o ServiceNow para importação de dados do Databricks.

Crie um pipeline de ingestão.

Cada tabela ingerida é gravada em uma tabela de transmissão.

info

Beta

Você pode filtrar linhas durante a ingestão para melhorar o desempenho e reduzir a duplicação de dados. Consulte Selecionar linhas para ingestão.

Databricks UI

1. Na barra lateral do site Databricks workspace, clique em ingestão de dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em ServiceNow .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais de acesso ao ServiceNow. Se você tiver o privilégio CREATE CONNECTION no metastore, poderá clicar. Crie uma conexão para estabelecer uma nova conexão com os detalhes de autenticação em Configurar a ingestão do ServiceNow para Databricks.
4. Clique em Avançar .
5. Na página de configuração de ingestão , insira um nome exclusivo para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.
7. Clique em Create pipeline (Criar pipeline) e continue .
8. Na página Origem , selecione as tabelas que deseja importar. Se você selecionar Todas as tabelas , o conector gravará todas as tabelas existentes e futuras do esquema de origem no esquema de destino. Existe um limite máximo de 250 tabelas por pipeline.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.
11. Clique em Salvar e continuar .
12. (Opcional) Na página de programação e notificações , clique em Criar programar . Defina a frequência de refresh das tabelas de destino.
13. (Opcional) Clique Adicione uma notificação para configurar notificações email para operações pipeline bem-sucedidas ou com falha e, em seguida, clique em Salvar e execute pipeline .

Databricks Asset Bundles

Utilize pacotes de automação declarativa para gerenciar o pipeline do ServiceNow como código. Os pacotes podem conter definições YAML de Job e tarefa, são gerenciados usando a CLI Databricks e podem ser compartilhados e executados em diferentes espaços de trabalho de destino (como desenvolvimento, teste e produção). Para mais informações, consulte O que são pacotes de automação declarativa?.

1. Crie um novo pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/servicenow_pipeline.yml). Consulte pipeline.ingestion_definition e exemplos.
   • Um arquivo de definição de trabalho que controla a frequência de ingestão de dados (por exemplo, resources/servicenow_job.yml).

3. Implante o pipeline usando a CLI Databricks :

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte Notebook para o seu workspace Databricks :

Abrir notebook em uma nova aba

2. Deixe a célula um como está.

3. Modifique a célula três com os detalhes da configuração do seu pipeline. Consulte pipeline.ingestion_definition e exemplos.

4. Clique em Executar tudo .

Exemplos

Utilize esses exemplos para configurar seu pipeline.

Ingerir uma única tabela de origem

Databricks Asset Bundles

O seguinte arquivo de definição de pipeline ingere uma única tabela de origem:

YAML

variables:
  dest_catalog:
    default: main
  dest_schema:
    default: ingest_destination_schema

# The main pipeline for servicenow_dab
resources:
  pipelines:
    pipeline_servicenow:
      name: servicenow_pipeline
      catalog: ${var.dest_catalog}
      schema: ${var.dest_schema}
      ingestion_definition:
        connection_name: <servicenow-connection>
        objects:
          # An array of objects to ingest from ServiceNow. This example ingests the incident table.
          - table:
              source_schema: default
              source_table: incident
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}

Databricks notebook

A seguinte especificação de pipeline ingere uma única tabela de origem:

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<servicenow-connection>",
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "incident",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      }
    ]
  }
}
"""
create_pipeline(pipeline_spec)

Ingerir várias tabelas de origem

Databricks Asset Bundles

O seguinte arquivo de definição de pipeline ingere várias tabelas de origem:

YAML

variables:
  dest_catalog:
    default: main
  dest_schema:
    default: ingest_destination_schema

# The main pipeline for servicenow_dab
resources:
  pipelines:
    pipeline_servicenow:
      name: servicenow_pipeline
      catalog: ${var.dest_catalog}
      schema: ${var.dest_schema}
      ingestion_definition:
        connection_name: <servicenow-connection>
        objects:
          # An array of objects to ingest from ServiceNow. This example ingests the incident and problem tables.
          - table:
              source_schema: default
              source_table: incident
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}
          - table:
              source_schema: default
              source_table: problem
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}

Databricks notebook

A seguinte especificação de pipeline ingere várias tabelas de origem:

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<servicenow-connection>",
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "incident",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "problem",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      }
    ]
  }
}
"""
create_pipeline(pipeline_spec)

Arquivo de definição de trabalho de pacote

Segue abaixo um exemplo de arquivo de definição de tarefa para uso com pacotes de automação declarativa. A execução do trabalho ocorre todos os dias, exatamente um dia após a última execução.

YAML

resources:
  jobs:
    servicenow_dab_job:
      name: servicenow_dab_job

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      email_notifications:
        on_failure:
          - <email-address>

      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.pipeline_servicenow.id}

Padrões comuns

Para configurações avançadas pipeline , consulte Padrões comuns para gerenciar pipeline de ingestão.

Próximos passos

começar, programar e definir alerta em seu pipeline. Consulte Tarefa comum de manutenção pipeline.

Recurso adicional

• Perguntas frequentes sobre o conector do ServiceNow
• Limitações do conector do ServiceNow
• Referência do conector ServiceNow
• Solução de problemas de ingestão do ServiceNow