Pular para o conteúdo principal
Última atualização em

Ingerir dados de Logs de Auditoria do Wiz

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão de Logs de Auditoria Wiz gerenciado usando o Lakeflow Connect.

Requisitos​

  • Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve ser habilitado para seu workspace. Consulte Requisitos de computação serverless.

    • Para criar uma nova conexão, é preciso ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector suportar a criação de pipelines baseada na IU, um administrador poderá criar a conexão e o pipeline simultaneamente, ao concluir os passos nesta página. No entanto, se os usuários que criam pipelines usam a autoria de pipeline baseada em API ou são usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente: é preciso ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • É necessário ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir do Wiz, você deve primeiro configurar a autenticação do Databricks e criar uma conexão. Consultar Configurar autenticação para Wiz e Criar uma conexão de Logs de auditoria do Wiz.

Criar pipeline de ingestão​

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
  2. Na página Adicionar dados , em Conectores do Databricks , clique em Wiz Audit Logs .
  3. Na página Conexão do assistente de ingestão, deve-se selecionar a conexão que armazena as credenciais do Wiz. Caso possua o privilégio CREATE CONNECTION no metastore, é possível clicar em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para o Wiz.
  4. Clique em Avançar .
  5. Na página de **Configuração de ingestão**, insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema para gravar dados. Se tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Clique em **Criar pipeline e continuar**.
  8. Na **Página de Origem**, selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destino , selecione um catálogo e um esquema para carregar dados. Se tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Cronogramas e notificações , clique em Ícone de mais. Crie um agendamento . Defina a frequência para fazer o refresh das tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para configurar notificações por email para sucesso ou falha da operação de pipeline.
  14. Clique em **Salvar e executar pipeline**.

Exemplos​

O conector Wiz Audit Logs disponibiliza tabelas de log de auditoria, problemas e detecção de vulnerabilidades no esquema de origem default. Para a lista completa, consulte Tabelas de origem compatíveis. Ingerir tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas​

Use esta opção para ingerir um subconjunto específico de tabelas, ou para personalizar a nomenclatura de destino por tabela.

YAML
resources:
  pipelines:
    wiz_audit_logs_pipeline:
      name: wiz_audit_logs_pipeline
      catalog: 'main'
      target: 'wiz_audit_logs_data'
      ingestion_definition:
        connection_name: wiz_audit_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_log_entries'
              destination_catalog: 'main'
              destination_schema: 'wiz_audit_logs_data'
              destination_table: 'audit_log_entries'
          - table:
              source_schema: 'default'
              source_table: 'vulnerability_findings'
              destination_catalog: 'main'
              destination_schema: 'wiz_audit_logs_data'
              destination_table: 'vulnerability_findings'

Ingerir o esquema inteiro​

Utilize esta opção para ingerir todas as tabelas de origem de Logs de Auditoria do Wiz em um único esquema de destino com uma declaração.

YAML
resources:
  pipelines:
    wiz_audit_logs_pipeline:
      name: wiz_audit_logs_pipeline
      catalog: 'main'
      target: 'wiz_audit_logs_data'
      ingestion_definition:
        connection_name: wiz_audit_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'wiz_audit_logs_data'

Arquivo de definição de Job de Pacotes de Automação Declarativa​

O seguinte é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é executado diariamente.

YAML
resources:
  jobs:
    wiz_audit_logs_job:
      name: wiz_audit_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: wiz_audit_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.wiz_audit_logs_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes​

Iniciar, programar e definir alertas no seu pipeline. Veja Tarefas comuns de manutenção de pipelines.

Recursos adicionais​

Nesta página