Ingerir dados do Aha!

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado do Aha! usando o Lakeflow Connect.

Requisitos

Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:
- Seu workspace deve estar habilitado para o Unity Catalog.
- O compute serverless deve ser habilitado para seu workspace. Consulte Requisitos de computação serverless.
- Para criar uma nova conexão, é preciso ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.
  
  Se o conector suportar a criação de pipelines baseada na IU, um administrador poderá criar a conexão e o pipeline simultaneamente, ao concluir os passos nesta página. No entanto, se os usuários que criam pipelines usam a autoria de pipeline baseada em API ou são usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.
- Para usar uma conexão existente: é preciso ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.
- Você deve ter privilégios USE CATALOG no catálogo de destino.
- É necessário ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou os privilégios CREATE SCHEMA no catálogo de destino.
Para ingerir do Aha!, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para Aha! e criar uma conexão Aha!

Criar pipeline de ingestão

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI
Declarative Automation Bundles
Databricks notebook

Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
Na página **Adicionar dados**, em **Conectores Databricks**, clique em **Aha!**.
Na página **Conexão** do assistente de ingestão, selecione a conexão que armazena suas credenciais do Aha!. Se tiver o CREATE CONNECTION privilégio no metastore, clique em ** Criar conexão** para criar uma conexão com as credenciais de Configurar autenticação para o Aha!.
Clique em Avançar .
Na página de **Configuração de ingestão**, insira um nome para o pipeline.
Selecione um catálogo e um esquema onde os logs de eventos serão gravados. Se tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
Clique em **Criar pipeline e continuar**.
Na **Página de Origem**, selecione as tabelas para ingestão.
Clique em Salvar e continuar .
Na página Destino , selecione um catálogo e um esquema para carregar dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
Clique em Salvar e continuar .
(Opcional) Na página Cronogramas e notificações , clique em Crie um agendamento . Defina a frequência para fazer o refresh das tabelas de destino.
(Opcional) Clique em Adicionar notificação para configurar notificações por email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e executar pipeline .

Use os Pacotes de Automação Declarativa para gerenciar pipelines do Aha! como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e executados em diferentes workspaces de destino (como desenvolvimento, preparo e produção). Para obter mais informações, consulte O que são Pacotes de Automação Declarativa?.

Crie um pacote utilizando a CLI do Databricks:
Bash
```
databricks bundle init
```
Adicione dois novos arquivos de recurso ao pacote:
- Um arquivo de definição de pipeline (por exemplo, resources/aha_pipeline.yml). Veja pipeline.definição_de_ingestão e Exemplos.
- Um arquivo de definição de Job que controla a frequência da ingestão de dados (por exemplo, resources/aha_job.yml).
Implante o pipeline usando a CLI do Databricks:
Bash
```
databricks bundle deploy
```

Exemplos

O conector do Aha! disponibiliza 11 tabelas de origem no esquema de origem default. Ingerir tabelas individuais ou as tabelas que você precisa.

Ingerir tabelas específicas

YAML
resources:
  pipelines:
    aha_pipeline:
      name: aha_pipeline
      catalog: 'main'
      target: 'aha_data'
      ingestion_definition:
        connection_name: aha_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'ideas'
              destination_catalog: 'main'
              destination_schema: 'aha_data'
              destination_table: 'ideas'
          - table:
              source_schema: 'default'
              source_table: 'products'
              destination_catalog: 'main'
              destination_schema: 'aha_data'
              destination_table: 'products'

Arquivo de definição de Job de Pacotes de Automação Declarativa

O seguinte é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é executado diariamente.

YAML
resources:
  jobs:
    aha_job:
      name: aha_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: aha_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.aha_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes

Iniciar, programar e definir alertas no seu pipeline. Veja Tarefas comuns de manutenção de pipelines.

Requisitos​

Criar pipeline de ingestão​

Exemplos​

Ingerir tabelas específicas​

Arquivo de definição de Job de Pacotes de Automação Declarativa​

Padrões comuns​

Passos seguintes​

Recursos adicionais​