Pular para o conteúdo principal
Última atualização em

Ingerir dados do Asana

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Asana na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Crie um pipeline gerenciado do LakeFlow Connect que ingere dados do Asana em tabelas do Unity Catalog. Use a interface do usuário do Databricks, pacotes de automação declarativa ou um notebook do Databricks.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro cumpra os seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve estar habilitado para o seu workspace. Consulte Requisitos de compute Serverless.

    • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo completando os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir do Asana, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para Asana e Criar uma conexão Asana.

Criar um pipeline de ingestão​

Para a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de Dados .
  2. Na página Adicionar dados , em Conectores do Databricks , clique em Asana .
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Asana. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para o Asana.
  4. Clique em Avançar .
  5. Na página Configuração de ingestão , insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Clique em Criar pipeline e continuar .
  8. Na página Origem , selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Programar e notificações , clique em Ícone de mais. Crie um programar . Defina a frequência para refresh das tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para configurar notificações por email sobre o sucesso ou a falha da operação do pipeline e, em seguida, clique em Salvar e iniciar a execução do pipeline .

Exemplos​

O conector do Asana disponibiliza 24 tabelas de origem no esquema de origem default. Ingira as tabelas necessárias.

Ingerir tabelas específicas​

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Asana:

YAML
resources:
  pipelines:
    asana_pipeline:
      name: asana_pipeline
      catalog: 'main'
      target: 'asana_data'
      ingestion_definition:
        connection_name: asana_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'projects'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'projects'
          - table:
              source_schema: 'default'
              source_table: 'tasks'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'tasks'
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'users'

Arquivo de definição de job de Pacotes de Automação Declarativa​

O exemplo a seguir é um arquivo de definição de job para uso com Declarative Automation Bundles. O Job é execução diariamente.

YAML
resources:
  jobs:
    asana_job:
      name: asana_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: asana_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.asana_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos​

Nesta página