Ingerir dados do Microsoft Dynamics 365

info

Visualização

Este recurso está em Pré-visualização Pública.

Aprenda como criar um pipeline de ingestão gerenciado Microsoft Dynamics 365 usando Databricks LakeFlow Connect.

Requisitos

• Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • compute sem servidor (serverless compute) deve estar habilitado para seu workspace. Consulte os requisitos compute sem servidor.

  • Se você planeja criar uma nova conexão: Você deve ter privilégios CREATE CONNECTION no metastore. Consulte a seção sobre privilégios de gerenciamento no Unity Catalog.

    Se o conector suportar a criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline simultaneamente, concluindo os passos desta página. No entanto, se os usuários que criam pipelines utilizarem a criação pipeline baseada em API ou não forem administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar para gerenciar fontes de ingestão.

  • Se você planeja usar uma conexão existente: Você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para importar dados do Dynamics 365, você deve primeiro concluir os passos descritos em Configurar fonte de dados para ingestão do Microsoft Dynamics 365.

Crie um pipeline de ingestão.

Databricks UI

1. Na barra lateral do workspace do Databricks , clique em ingestão de dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em Microsoft Dynamics 365 .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais de acesso do Microsoft Dynamics 365. Se você tiver o privilégio CREATE CONNECTION no metastore, poderá clicar. Criar conexão para criar uma nova conexão com os detalhes de autenticação em Configurar fonte de dados para ingestão do Microsoft Dynamics 365.
4. Clique em Avançar .
5. Na página de configuração de ingestão , insira um nome exclusivo para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.
7. Clique em Criar pipeline e continue .
8. Na página Origem , insira o URL do ambiente Dataverse e selecione as tabelas a serem importadas.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.
11. Clique em Salvar e continuar .
12. (Opcional) Na página de programação e notificações , clique em Criar programar . Defina a frequência de refresh das tabelas de destino.
13. (Opcional) Clique Adicione uma notificação para configurar notificações email para operações pipeline bem-sucedidas ou com falha e, em seguida, clique em Salvar e execute pipeline .

Databricks Asset Bundles

Utilize pacotes de automação declarativa para gerenciar o pipeline do D365 como código. Os pacotes podem conter definições YAML de Job e tarefa, são gerenciados usando a CLI Databricks e podem ser compartilhados e executados em diferentes espaços de trabalho de destino (como desenvolvimento, teste e produção). Para mais informações, consulte O que são pacotes de automação declarativa?.

1. Crie um novo pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/d365_pipeline.yml). Consulte pipeline.ingestion_definition e exemplos.
   • Um arquivo de definição de trabalho que controla a frequência de ingestão de dados (por exemplo, resources/d365_job.yml).

3. Implante o pipeline usando a CLI Databricks :

   Bash

   databricks bundle deploy

Verificar a criação do pipeline

Após criar o pipeline:

1. Acesse "Trabalhos e pipeline" no seu workspace.
2. Localize seu pipeline pelo nome.
3. Selecione o pipeline para view os detalhes.
4. Selecione começar para executar a ingestão inicial.
5. Monitore a execução pipeline e verifique se pipeline cria tabelas no esquema de destino.

Para verificar os dados ingeridos:

SQL

-- Check the account table
SELECT * FROM main.d365_data.account LIMIT 10;

-- Verify record counts
SELECT COUNT(*) FROM main.d365_data.account;

nota

A execução inicial pipeline realiza uma refresh completa de todas as tabelas selecionadas. A execução subsequente utiliza a ingestão incremental baseada no cursor VersionNumber dos registros de alterações do Azure Synapse Link.

Exemplos

Utilize esses exemplos para configurar seu pipeline.

Ingerir uma única tabela de origem

O seguinte arquivo de definição de pipeline ingere uma única tabela de origem:

YAML

resources:
  pipelines:
    d365_ingestion:
      name: 'd365_ingestion'
      catalog: 'main'
      schema: 'd365_data'
      ingestion_definition:
        channel: 'PREVIEW'
        connection_name: 'd365_connection'
        objects:
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: account
              destination_catalog: 'main'
              destination_schema: 'd365_data'

Ingerir várias tabelas de origem

O seguinte arquivo de definição de pipeline ingere várias tabelas de origem:

YAML

resources:
  pipelines:
    d365_ingestion:
      name: 'd365_ingestion'
      catalog: 'main'
      schema: 'd365_data'
      ingestion_definition:
        channel: 'PREVIEW'
        connection_name: 'd365_connection'
        objects:
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: account
              destination_catalog: 'main'
              destination_schema: 'd365_data'
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: contact
              destination_catalog: 'main'
              destination_schema: 'd365_data'

Arquivo de definição de trabalho de pacote

Segue abaixo um exemplo de arquivo de definição de tarefa para uso com pacotes de automação declarativa. A execução do trabalho ocorre todos os dias, exatamente um dia após a última execução.

YAML

resources:
  jobs:
    d365_dab_job:
      name: d365_dab_job

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      email_notifications:
        on_failure:
          - <email-address>

      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.d365_ingestion.id}

Padrões comuns

Para configurações avançadas pipeline , consulte Padrões comuns para gerenciar pipeline de ingestão.

Próximos passos

começar, programar e definir alerta em seu pipeline. Consulte Tarefa comum de manutenção pipeline.

Recursos adicionais

• Perguntas frequentes sobre o conector do Microsoft Dynamics 365
• Limitações do conector de ingestão do Microsoft Dynamics 365
• Referência do conector do Microsoft Dynamics 365
• Solução de problemas de ingestão do Microsoft Dynamics 365