Ingerir dados do Microsoft Entra ID

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Microsoft Entra ID na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado do Microsoft Entra ID usando o Lakeflow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro cumpra os seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute Serverless.

  • Para criar uma nova conexão, é preciso ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector for compatível com a criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo seguindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir do Microsoft Entra ID, primeiro configure a autenticação do Databricks e crie uma conexão. Veja Configurar a autenticação para o Microsoft Entra ID e Criar uma conexão do Microsoft Entra ID.

Opções do conector

Defina opções com escopo de pipeline em source_configurations. Todas as opções são opcionais. Consulte Exemplos para uso.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	directoryaudits, signins	Horário do primeiro evento a ser ingerido na primeira sincronização, como um Timestamp RFC 3339, por exemplo 2026-09-15T00:00:00Z. O conector limita o valor a um intervalo entre 30 dias e 1 dia antes da sincronização. O default é de 30 dias antes da sincronização.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	directoryaudits, signins	Horário do primeiro evento a ser ingerido na primeira sincronização, como um Timestamp RFC 3339, por exemplo 2026-09-15T00:00:00Z. O conector limita o valor a um intervalo entre 30 dias e 1 dia antes da sincronização. O default é de 30 dias antes da sincronização.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Add data , em Databricks connectors , clique em Microsoft Entra ID .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Microsoft Entra ID. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para o Microsoft Entra ID.
4. Clique em Avançar .
5. Na página Configuração de ingestão , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Create schema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Fonte , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Cronogramas e notificações , clique em Criar programar . Defina a frequência para refresh das tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha da operação de pipeline e, em seguida, clique em Salvar e iniciar execução do pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do Microsoft Entra ID como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Crie um pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/microsoft_entra_id_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência de ingestão de dados (por exemplo, resources/microsoft_entra_id_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook para o seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão. Não modifique.

3. Modifique a célula três com os detalhes de configuração do seu pipeline. Veja pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure as configurações avançadas do pipeline. Consulte Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector do Microsoft Entra ID disponibiliza 15 tabelas de origem no esquema de origem default. Ingerir tabelas individuais ou as tabelas de que você precisa.

Ingerir tabelas específicas

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Microsoft Entra ID:

YAML

resources:
  pipelines:
    microsoft_entra_id_pipeline:
      name: microsoft_entra_id_pipeline
      catalog: 'main'
      target: 'microsoft_entra_id_data'
      ingestion_definition:
        connection_name: microsoft_entra_id_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'microsoft_entra_id_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'groups'
              destination_catalog: 'main'
              destination_schema: 'microsoft_entra_id_data'
              destination_table: 'groups'
          - table:
              source_schema: 'default'
              source_table: 'signins'
              destination_catalog: 'main'
              destination_schema: 'microsoft_entra_id_data'
              destination_table: 'signins'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas individuais do Microsoft Entra ID:

Python

pipeline_name = "microsoft_entra_id_pipeline"
connection_name = "<microsoft-entra-id-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "users",
          "destination_catalog": "main",
          "destination_schema": "microsoft_entra_id_data",
          "destination_table": "users"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "groups",
          "destination_catalog": "main",
          "destination_schema": "microsoft_entra_id_data",
          "destination_table": "groups"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "signins",
          "destination_catalog": "main",
          "destination_schema": "microsoft_entra_id_data",
          "destination_table": "signins"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

O arquivo a seguir é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    microsoft_entra_id_job:
      name: microsoft_entra_id_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: microsoft_entra_id_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.microsoft_entra_id_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programe e defina alertas no seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• Perguntas frequentes sobre o conector do Microsoft Entra ID
• Limitações do conector do Microsoft Entra ID
• Referência do conector do Microsoft Entra ID
• Solucionar problemas do conector Microsoft Entra ID