Pular para o conteúdo principal
Última atualização em

Ingerir dados dos Logs do Zoom

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão de Logs do Zoom gerenciado usando o LakeFlow Connect.

Requisitos​

  • Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve ser habilitado para seu workspace. Consulte Requisitos de computação serverless.

    • Para criar uma nova conexão, é preciso ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector suportar a criação de pipelines baseada na IU, um administrador poderá criar a conexão e o pipeline simultaneamente, ao concluir os passos nesta página. No entanto, se os usuários que criam pipelines usam a autoria de pipeline baseada em API ou são usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente: é preciso ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • É necessário ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir dados do Zoom, você deve primeiro configurar a autenticação do Databricks e criar uma conexão. Consulte Configurar a autenticação para o Zoom e Criar uma conexão de Logs do Zoom.

Criar pipeline de ingestão​

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
  2. Na página **Adicionar dados**, em **conectores Databricks**, clique em **Logs do Zoom**.
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Zoom. Se você tem o privilégio CREATE CONNECTION no metastore, você pode clicar em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação no Zoom.
  4. Clique em Avançar .
  5. Na página de **Configuração de ingestão**, insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema onde os logs de eventos serão gravados. Se tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Clique em **Criar pipeline e continuar**.
  8. Na **Página de Origem**, selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destino , selecione um catálogo e um esquema para carregar dados. Se tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Cronogramas e notificações , clique em Ícone de mais. Crie um agendamento . Defina a frequência para fazer o refresh das tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para configurar notificações por email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e executar pipeline .

Exemplos​

O conector de Zoom Logs disponibiliza duas tabelas de origem (activity_logs e operation_logs) no esquema de origem default. Ingerir tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas​

Use esta opção para ingerir um subconjunto específico de tabelas, ou para personalizar a nomenclatura de destino por tabela.

YAML
resources:
  pipelines:
    zoom_logs_pipeline:
      name: zoom_logs_pipeline
      catalog: 'main'
      target: 'zoom_logs_data'
      ingestion_definition:
        connection_name: zoom_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'activity_logs'
              destination_catalog: 'main'
              destination_schema: 'zoom_logs_data'
              destination_table: 'activity_logs'
          - table:
              source_schema: 'default'
              source_table: 'operation_logs'
              destination_catalog: 'main'
              destination_schema: 'zoom_logs_data'
              destination_table: 'operation_logs'

Ingerir o esquema inteiro​

Use esta opção para ingerir todas as tabelas de origem dos logs do Zoom em um único esquema de destino com uma declaração.

YAML
resources:
  pipelines:
    zoom_logs_pipeline:
      name: zoom_logs_pipeline
      catalog: 'main'
      target: 'zoom_logs_data'
      ingestion_definition:
        connection_name: zoom_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'zoom_logs_data'

Arquivo de definição de Job de Pacotes de Automação Declarativa​

O seguinte é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é executado diariamente.

YAML
resources:
  jobs:
    zoom_logs_job:
      name: zoom_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: zoom_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.zoom_logs_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes​

Iniciar, programar e definir alertas no seu pipeline. Veja Tarefas comuns de manutenção de pipelines.

Recursos adicionais​

Nesta página