Ingerir dados do Monday.com

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect for Monday.com na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado do Monday.com usando o LakeFlow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve ser habilitado para seu workspace. Consulte Requisitos de computação serverless.

  • Para criar uma nova conexão, é preciso ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector suportar a criação de pipelines baseada na IU, um administrador poderá criar a conexão e o pipeline simultaneamente, ao concluir os passos nesta página. No entanto, se os usuários que criam pipelines usam a autoria de pipeline baseada em API ou são usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, é preciso ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • É necessário ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir dados do Monday.com, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configure a autenticação para Monday.com e Crie uma conexão com Monday.com.

Opções de conector

O conector Monday.com oferece suporte a opções com escopo de pipeline e de tabela. Defina opções com escopo de pipeline no bloco source_configurations e opções com escopo de tabela no bloco connector_options de cada tabela na definição do seu pipeline. Consulte Examples para ver exemplos de uso.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	activity_logs tabela	Timestamp mais antigo a partir do qual ingerir os logs de atividade, no formato ISO 8601 UTC (por exemplo, 2026-01-01T00:00:00Z). O default é a época Unix, portanto, a primeira sincronização ingere toda a história disponível. Não tem efeito sobre as tabelas de lotes com full-refresh.
board_ids	Tabela	Não	boards e tabelas activity_logs	IDs de boards a serem ingeridos, especificados como uma matriz JSON de strings de ID (por exemplo, ["1234567890","1234567891"]). Quando definido, o conector ingere apenas os boards especificados e os logs de atividade desses boards. Quando omitido, o conector ingere todos os boards na conta. Defina esta opção em ambas as tabelas para que cada uma cubra os mesmos boards.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	activity_logs tabela	Timestamp mais antigo a partir do qual ingerir os logs de atividade, no formato ISO 8601 UTC (por exemplo, 2026-01-01T00:00:00Z). O default é a época Unix, portanto, a primeira sincronização ingere toda a história disponível. Não tem efeito sobre as tabelas de lotes com full-refresh.
board_ids	Tabela	Não	boards e tabelas activity_logs	IDs de boards a serem ingeridos, especificados como uma matriz JSON de strings de ID (por exemplo, ["1234567890","1234567891"]). Quando definido, o conector ingere apenas os boards especificados e os logs de atividade desses boards. Quando omitido, o conector ingere todos os boards na conta. Defina esta opção em ambas as tabelas para que cada uma cubra os mesmos boards.

Criar pipeline de ingestão

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página **Adicionar dados**, em **Conectores Databricks**, clique em **Monday.com**.
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Monday.com. Se você tem o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Monday.com.
4. Clique em Avançar .
5. Na página de **Configuração de ingestão**, insira um nome para o pipeline.
6. Selecione um catálogo e um esquema onde os logs de eventos serão gravados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar Esquema no menu suspenso para criar um esquema.
7. Clique em **Criar pipeline e continuar**.
8. Na **Página de Origem**, selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Cronogramas e notificações , clique em Crie um agendamento . Defina a frequência para fazer o refresh das tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para configurar notificações por email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e executar pipeline .

Declarative Automation Bundles

Use Pacotes de Automação Declarativa para gerenciar pipelines do Monday.com como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e executados em diferentes workspaces de destino (como desenvolvimento, preparo e produção). Para obter mais informações, consulte O que são Pacotes de Automação Declarativa?.

1. Crie um pacote utilizando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/monday_com_pipeline.yml). Veja pipeline.definição_de_ingestão e Exemplos.
   • Um arquivo de definição de Job que controla a frequência da ingestão de dados (por exemplo, resources/monday_com_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook em seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão. Não modifique.

3. Modificar a célula três com os detalhes da configuração do pipeline. Veja pipeline.ingestion_definition e Exemplos.

4. Configure as configurações avançadas do pipeline (opcional). Consulte Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector Monday.com disponibiliza 7 tabelas de origem no esquema de origem default. Ingerir tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas

Use esta opção para ingerir um subconjunto específico de tabelas, ou para personalizar a nomenclatura de destino por tabela.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Monday.com:

YAML

resources:
  pipelines:
    monday_com_pipeline:
      name: monday_com_pipeline
      catalog: 'main'
      target: 'monday_com_data'
      ingestion_definition:
        connection_name: monday_com_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'boards'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'boards'
          - table:
              source_schema: 'default'
              source_table: 'activity_logs'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'activity_logs'
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'users'

Databricks notebook

A seguinte especificação de pipeline ingere tabelas individuais do Monday.com:

Python

pipeline_name = "monday_com_pipeline"
connection_name = "<monday-com-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "boards",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "boards"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "activity_logs",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "activity_logs"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "users",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "users"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir quadros específicos

Use a opção de conector board_ids para limitar a ingestão a um subconjunto de quadros. Defina-o tanto na tabela boards quanto na tabela activity_logs para que cada tabela cubra os mesmos quadros.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere apenas os quadros especificados do Monday.com:

YAML

resources:
  pipelines:
    monday_com_pipeline:
      name: monday_com_pipeline
      catalog: 'main'
      target: 'monday_com_data'
      ingestion_definition:
        connection_name: monday_com_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'boards'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'boards'
              connector_options:
                api_source_connector_options:
                  options:
                    board_ids: '["<board-id-1>","<board-id-2>"]'
          - table:
              source_schema: 'default'
              source_table: 'activity_logs'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'activity_logs'
              connector_options:
                api_source_connector_options:
                  options:
                    board_ids: '["<board-id-1>","<board-id-2>"]'

Databricks notebook

A especificação de pipeline a seguir ingere apenas os quadros do Monday.com especificados:

Python

pipeline_name = "monday_com_pipeline"
connection_name = "<monday-com-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "boards",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "boards",
          "connector_options": {
            "api_source_connector_options": {
              "options": {
                "board_ids": "[\"<board-id-1>\",\"<board-id-2>\"]"
              }
            }
          }
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "activity_logs",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "activity_logs",
          "connector_options": {
            "api_source_connector_options": {
              "options": {
                "board_ids": "[\"<board-id-1>\",\"<board-id-2>\"]"
              }
            }
          }
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Definir uma data de início do log de atividades

Use a configuração do conector start_datetime para definir o timestamp mais antigo a partir do qual a tabela activity_logs faz a ingestão. Ele é escopado para o pipeline, portanto, defina-o em source_configurations em vez de em uma tabela individual. Quando omitido, a primeira sincronização ingere todo o histórico de logs de atividade disponível.

Declarative Automation Bundles

The following pipeline definition file ingests Monday.com activity Logs from the specified começar time:

YAML

resources:
  pipelines:
    monday_com_pipeline:
      name: monday_com_pipeline
      catalog: 'main'
      target: 'monday_com_data'
      ingestion_definition:
        connection_name: monday_com_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '2026-01-01T00:00:00Z'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'activity_logs'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'
              destination_table: 'activity_logs'

Databricks notebook

A especificação de pipeline a seguir ingere os logs de atividade do Monday.com a partir do horário de início especificado:

Python

pipeline_name = "monday_com_pipeline"
connection_name = "<monday-com-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "2026-01-01T00:00:00Z"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "activity_logs",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data",
          "destination_table": "activity_logs"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use esta opção para ingerir todas as tabelas de origem do Monday.com em um único esquema de destino com uma única declaração.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere todas as tabelas compatíveis do Monday.com em um esquema de destino:

YAML

resources:
  pipelines:
    monday_com_pipeline:
      name: monday_com_pipeline
      catalog: 'main'
      target: 'monday_com_data'
      ingestion_definition:
        connection_name: monday_com_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'monday_com_data'

Databricks notebook

A seguinte especificação de pipeline ingere todas as tabelas Monday.com compatíveis em um esquema de destino:

Python

pipeline_name = "monday_com_pipeline"
connection_name = "<monday-com-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "monday_com_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de Job de Pacotes de Automação Declarativa

O seguinte é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é executado diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    monday_com_job:
      name: monday_com_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: monday_com_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.monday_com_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes

Iniciar, programar e definir alertas no seu pipeline. Veja Tarefas comuns de manutenção de pipelines.

Recursos adicionais

• FAQ do conector Monday.com
• Limitações do conector Monday.com
• Referência do conector Monday.com
• Solucionar problemas do conector Monday.com