Ingerir dados do Microsoft Graph

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para logs do Microsoft Graph na página Prévias . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão de Logs do Microsoft Graph gerenciado usando o Lakeflow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute serverless.

  • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou não forem usuários administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios de USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir do Microsoft gráfico, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar a autenticação para o Microsoft Graph e Criar uma conexão do Microsoft Graph Logs.

Opções do conector

Defina as opções com escopo de pipeline em source_configurations e as opções com escopo de tabela no objeto individual. Para as opções suportadas, consulte Opções do conector. Para uso, consulte Exemplos.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em Logs do Microsoft Graph .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Microsoft Graph. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Microsoft Graph.
4. Clique em Avançar .
5. Na página Configuração de ingestão , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar os logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Origem , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página programar e notificações , clique em Criar programar . Defina a frequência para refresh as tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e execução pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines de Logs do Microsoft gráfico como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Consulte O que são os Pacotes de Automação Declarativa?.

1. Criar um bundle usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/microsoft_graph_logs_pipeline.yml). Consulte pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/microsoft_graph_logs_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook para o seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão.

3. Modifique a célula três com os detalhes da configuração do seu pipeline. Consulte pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure as configurações avançadas do pipeline. Veja Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector de Logs do Microsoft Graph disponibiliza uma tabela de origem no esquema de origem default. Ingira a tabela individual ou todo o esquema.

Ingerir tabelas específicas

Use esta opção para personalizar a nomenclatura do destino da tabela.

Declarative Automation Bundles

O arquivo de definição de pipeline a seguir ingere a tabela security_alerts:

YAML

resources:
  pipelines:
    microsoft_graph_logs_pipeline:
      name: microsoft_graph_logs_pipeline
      catalog: 'main'
      target: 'microsoft_graph_logs_data'
      ingestion_definition:
        connection_name: microsoft_graph_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'security_alerts'
              destination_catalog: 'main'
              destination_schema: 'microsoft_graph_logs_data'
              destination_table: 'security_alerts'

Databricks notebook

A seguinte especificação de pipeline ingere a tabela security_alerts:

Python

pipeline_name = "microsoft_graph_logs_pipeline"
connection_name = "<microsoft-graph-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "security_alerts",
          "destination_catalog": "main",
          "destination_schema": "microsoft_graph_logs_data",
          "destination_table": "security_alerts"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir todo o esquema

Use esta opção para ingerir todas as tabelas de origem dos Logs do Microsoft gráfico em um único esquema de destino com uma declaração.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere todas as tabelas de Logs do Microsoft Graph compatíveis em um esquema de destino:

YAML

resources:
  pipelines:
    microsoft_graph_logs_pipeline:
      name: microsoft_graph_logs_pipeline
      catalog: 'main'
      target: 'microsoft_graph_logs_data'
      ingestion_definition:
        connection_name: microsoft_graph_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'microsoft_graph_logs_data'

Databricks notebook

A seguinte especificação de pipeline ingere todas as tabelas de Logs do Microsoft gráfico suportadas em um esquema de destino:

Python

pipeline_name = "microsoft_graph_logs_pipeline"
connection_name = "<microsoft-graph-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "microsoft_graph_logs_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job do Declarative Automation Bundles

A seguir está um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    microsoft_graph_logs_job:
      name: microsoft_graph_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: microsoft_graph_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.microsoft_graph_logs_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos os passos

Começar, programar e definir alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• Perguntas frequentes sobre o conector de logs do Microsoft gráfico
• Limitações do conector Logs do Microsoft gráfico
• Referência do conector de logs do Microsoft Graph
• Solucionar problemas do conector de Logs do Microsoft gráfico