Ingerir dados do Productboard

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Productboard na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Crie um pipeline gerenciado do LakeFlow Connect que ingere dados do Productboard em tabelas do Unity Catalog. Use a interface do Databricks, Pacotes de Automação Declarativa ou um notebook do Databricks.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute Serverless.

  • Para criar uma nova conexão, você deve ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo completando os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou não forem usuários administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir do Productboard, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para o Productboard e Criar uma conexão com o Productboard.

Opções de conector

Defina as opções com escopo de pipeline em source_configurations. Consulte Exemplos para uso.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	notes	O valor updatedAt mais antigo a ser ingerido na primeira sincronização, no formato yyyy-MM-ddTHH:mm:ssZ (por exemplo, 2024-01-01T00:00:00Z). O default é 2020-01-01T00:00:00Z.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	notes	O valor updatedAt mais antigo a ser ingerido na primeira sincronização, no formato yyyy-MM-ddTHH:mm:ssZ (por exemplo, 2024-01-01T00:00:00Z). O default é 2020-01-01T00:00:00Z.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em Productboard .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Productboard. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Productboard.
4. Clique em Avançar .
5. Na página Configuração de ingestão , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Origem , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Programar e notificações , clique em Crie um programar . Defina a frequência para fazer refresh das tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações de email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e execução do pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do Productboard como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Crie um pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/productboard_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência de ingestão de dados (por exemplo, resources/productboard_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook para o seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe a primeira célula como está.

3. Na célula dois, substitua <Paste generated token here> por um access token pessoal.

4. Deixe a célula três como está.

5. Modifique a célula quatro com os detalhes da configuração do pipeline. Veja pipeline.ingestion_definition e Exemplos.

6. Opcionalmente, configure as configurações avançadas do pipeline. Consulte Padrões comuns para pipelines de ingestão gerenciados.

7. Clique em Executar tudo .

Exemplos

O conector do Productboard disponibiliza suas tabelas de origem no esquema de origem default. Ingira tabelas individuais ou o esquema inteiro. Para obter a lista completa de tabelas, consulte Tabelas de origem suportadas.

Ingerir tabelas específicas

Use essa opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Productboard:

YAML

resources:
  pipelines:
    productboard_pipeline:
      name: productboard_pipeline
      catalog: 'main'
      target: 'productboard_data'
      ingestion_definition:
        connection_name: productboard_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'features'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'features'
          - table:
              source_schema: 'default'
              source_table: 'notes'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'notes'
          - table:
              source_schema: 'default'
              source_table: 'companies'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'
              destination_table: 'companies'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas individuais do Productboard:

Python

pipeline_name = "productboard_pipeline"
connection_name = "<productboard-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "features",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "features"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "notes",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "notes"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "companies",
          "destination_catalog": "main",
          "destination_schema": "productboard_data",
          "destination_table": "companies"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use essa opção para ingerir todas as tabelas de origem do Productboard em um único esquema de destino com uma única declaração.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere todas as tabelas compatíveis do Productboard em um esquema de destino:

YAML

resources:
  pipelines:
    productboard_pipeline:
      name: productboard_pipeline
      catalog: 'main'
      target: 'productboard_data'
      ingestion_definition:
        connection_name: productboard_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'productboard_data'

Databricks notebook

A seguinte especificação de pipeline ingere todas as tabelas do Productboard compatíveis em um esquema de destino:

Python

pipeline_name = "productboard_pipeline"
connection_name = "<productboard-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "productboard_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

A seguir, um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. A execução do job é diária.

Declarative Automation Bundles

YAML

resources:
  jobs:
    productboard_job:
      name: productboard_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: productboard_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.productboard_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• FAQ do conector do Productboard
• Limitações do conector Productboard
• Referência do conector do Productboard
• Solucionar problemas do conector Productboard