Ingerir dados do Box

info

Beta

Esse recurso está na versão Beta. Para usá-lo, um administrador do Workspace deve ativar o Lakeflow Connect para Logs de auditoria do Box na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Crie um pipeline de ingestão gerenciado de Logs de Auditoria do Box no Lakeflow Connect para ingerir eventos de auditoria empresarial no Databricks.

Requisitos

Para criar um pipeline de ingestão, primeiro cumpra os seguintes requisitos:
- Seu workspace deve estar habilitado para o Unity Catalog.
- O compute Serverless deve estar habilitado para o seu workspace. Consulte Requisitos de compute Serverless.
- Para criar uma nova conexão, você deve ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.
  
  Se o conector for compatível com a criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.
- Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.
- Você deve ter privilégios USE CATALOG no catálogo de destino.
- Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.
Para ingerir do Box, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação no Box e Criar uma conexão de Logs de Auditoria do Box.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

Databricks UI
Declarative Automation Bundles
Databricks notebook

Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
Na página Adicionar dados , em Conectores do Databricks , clique em Logs de auditoria do Box .
Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Box. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação no Box.
Clique em Avançar .
Na página Configuração de ingestão , insira um nome para o pipeline.
Selecione um catálogo e um esquema para gravar logs de eventos do pipeline. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique no menu suspenso Criar esquema para criar um esquema.
Clique em Criar pipeline e continuar .
Na página Fonte , selecione as tabelas para ingestão.
Clique em Salvar e continuar .
Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
Clique em Salvar e continuar .
(Opcional) Na página Cronogramas e notificações , clique em Criar programar . Defina a frequência para fazer refresh das tabelas de destino.
(Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha na operação do pipeline.
Clique em Salvar e execução pipeline .

Use os Pacotes de Automação Declarativa para gerenciar pipelines de Logs de Auditoria do Box como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Consulte O que são os Pacotes de Automação Declarativa?.

Crie um pacote usando a CLI do Databricks:
Bash
```
databricks bundle init
```
Adicione dois novos arquivos de recursos ao pacote:
- Um arquivo de definição de pipeline (por exemplo, resources/box_audit_logs_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
- Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/box_audit_logs_job.yml).
Implantar o pipeline usando a CLI do Databricks:
Bash
```
databricks bundle deploy
```

Exemplos

O conector de Logs de Auditoria do Box fornece uma tabela de origem no esquema de origem default. Ingerir a tabela ou o esquema inteiro.

Ingerir a tabela `event_logs`

Use esta opção para personalizar a nomenclatura de destino da tabela.

Declarative Automation Bundles
Databricks notebook

O seguinte arquivo de definição de pipeline ingere a tabela Box Audit Logs:

YAML
resources:
  pipelines:
    box_audit_logs_pipeline:
      name: box_audit_logs_pipeline
      catalog: 'main'
      target: 'box_audit_logs_data'
      ingestion_definition:
        connection_name: box_audit_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'event_logs'
              destination_catalog: 'main'
              destination_schema: 'box_audit_logs_data'
              destination_table: 'event_logs'

A seguinte especificação de pipeline ingere a tabela de Logs de Auditoria do Box:

Python
pipeline_name = "box_audit_logs_pipeline"
connection_name = "<box-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "event_logs",
          "destination_catalog": "main",
          "destination_schema": "box_audit_logs_data",
          "destination_table": "event_logs"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use esta opção para ingerir todas as tabelas de origem dos Logs de Auditoria do Box em um único esquema de destino com uma única declaração.

Declarative Automation Bundles
Databricks notebook

O seguinte arquivo de definição de pipeline ingere todas as tabelas de Logs de Auditoria do Box compatíveis em um esquema de destino:

YAML
resources:
  pipelines:
    box_audit_logs_pipeline:
      name: box_audit_logs_pipeline
      catalog: 'main'
      target: 'box_audit_logs_data'
      ingestion_definition:
        connection_name: box_audit_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'box_audit_logs_data'

A seguinte especificação de pipeline ingere todas as tabelas compatíveis de logs de auditoria do Box em um esquema de destino:

Python
pipeline_name = "box_audit_logs_pipeline"
connection_name = "<box-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "box_audit_logs_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

O exemplo a seguir é um arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML
resources:
  jobs:
    box_audit_logs_job:
      name: box_audit_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: box_audit_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.box_audit_logs_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programar e configure alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Requisitos​

Criar um pipeline de ingestão​

Exemplos​

Ingerir a tabela event_logs​

Ingerir o esquema inteiro​

Arquivo de definição de job de Pacotes de Automação Declarativa​

Padrões comuns​

Os passos seguintes​

Outros recursos​