Pular para o conteúdo principal
Última atualização em

Ingerir dados do Microsoft 365

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o recurso Lakeflow Connect for Microsoft 365 Unified Audit Logs na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Use os Pacotes de Automação Declarativa ou um notebook do Databricks para criar um pipeline gerenciado de logs de auditoria unificados do Microsoft 365 para qualquer uma das cinco tabelas de origem de logs de auditoria suportadas.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve estar habilitado para o seu workspace. Consulte Requisitos de computação serverless.

    • Para criar uma nova conexão, você deve ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo concluindo os passos nesta página. No entanto, se os usuários que criarem pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter os privilégios USE CATALOG no catálogo de destino.

    • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.

  • Configurar a autenticação do Databricks e criar uma conexão. Consulte Configurar a autenticação para o Microsoft 365 e Criar uma conexão de logs de auditoria unificados do Microsoft 365.

  • Escolha os objetos de origem para ingestão. Para ver os objetos compatíveis, consulte Tabelas de origem compatíveis.

Opções de conector​

O conector Microsoft 365 Unified Audit Logs não define opções de pipeline específicas do conector. Para obter configurações de conexão, consulte Opções de conexão.

Criar um pipeline de ingestão​

Crie o pipeline com os Pacotes de Automação Declarativa ou um notebook do Databricks. Enquanto o conector estiver na versão Beta, defina o canal do pipeline como PREVIEW.

Use Pacotes de Automação Declarativa para gerenciar pipelines do Microsoft 365 Unified Audit Logs como código. Os pacotes podem conter definições YAML de pipelines e jobs, são gerenciados usando a CLI do Databricks e podem ser compartilhados entre workspaces de desenvolvimento, staging e produção. Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

  1. Crie um pacote usando a CLI do Databricks:

    Bash
    databricks bundle init

  2. Adicione um arquivo de definição de pipeline, como resources/microsoft_365_pipeline.yml. Consulte pipeline.ingestion_definition e Exemplos.

  3. Adicione um arquivo de definição de job, como resources/microsoft_365_job.yml, para executar o pipeline com mais frequência do que a cada sete dias.

  4. Deploy the pipeline using the Databricks CLI:

    Bash
    databricks bundle deploy

Exemplos​

The Microsoft 365 Unified Audit Logs connector makes five source tables available in the default source schema. The following examples ingest Entra ID, Exchange, SharePoint, general, and data loss prevention audit events.

O arquivo de definição de pipeline a seguir ingere todas as cinco tabelas de origem:

YAML
resources:
  pipelines:
    microsoft_365_pipeline:
      name: microsoft_365_pipeline
      channel: PREVIEW
      catalog: 'main'
      target: 'microsoft_365_data'
      ingestion_definition:
        connection_name: microsoft_365_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_azure_active_directory'
              destination_catalog: 'main'
              destination_schema: 'microsoft_365_data'
              destination_table: 'audit_azure_active_directory'
          - table:
              source_schema: 'default'
              source_table: 'audit_exchange'
              destination_catalog: 'main'
              destination_schema: 'microsoft_365_data'
              destination_table: 'audit_exchange'
          - table:
              source_schema: 'default'
              source_table: 'audit_sharepoint'
              destination_catalog: 'main'
              destination_schema: 'microsoft_365_data'
              destination_table: 'audit_sharepoint'
          - table:
              source_schema: 'default'
              source_table: 'audit_general'
              destination_catalog: 'main'
              destination_schema: 'microsoft_365_data'
              destination_table: 'audit_general'
          - table:
              source_schema: 'default'
              source_table: 'dlp_all'
              destination_catalog: 'main'
              destination_schema: 'microsoft_365_data'
              destination_table: 'dlp_all'
nota

To ingest dlp_all, grant the ActivityFeed.ReadDlp application permission to the Microsoft Entra application. See Configure API permissions.

Arquivo de definição de job dos Pacotes de Automação Declarativa​

A seguinte definição de job executa o pipeline de ingestão diariamente. Execute o pipeline com mais frequência do que a cada sete dias, pois a Microsoft disponibiliza o conteúdo da API Management Activity por um período limitado.

YAML
resources:
  jobs:
    microsoft_365_job:
      name: microsoft_365_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: microsoft_365_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.microsoft_365_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Recursos adicionais​

Nesta página