Ingerir dados do Notion

info

Beta

Esse recurso está em Beta. Os administradores do Workspace podem controlar o acesso a esse recurso na página Pré-visualizações ao optar pela prévia do Notion connector . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado do Notion usando o Lakeflow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute serverless.

  • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector for compatível com a criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para realizar a ingestão a partir do Notion, primeiro configure a autenticação a partir do Databricks e crie uma conexão. Consulte Configurar autenticação para o Notion e Criar uma conexão com o Notion.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em Notion .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Notion. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para o Notion.
4. Clique em Avançar .
5. Na página Ingestion setup , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Origem , selecione as tabelas que deseja importar.
9. Clique em Salvar e continuar .
10. Na página Destination , selecione um catálogo e um esquema para carregar os dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Create schema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Schedules and notifications , clique em Criar agendamento . Defina a frequência para refresh das tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha na operação do pipeline e, em seguida, clique em Salvar e executar pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do Notion como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes workspaces de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Crie um pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/notion_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/notion_job.yml).

3. Implantar o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Exemplos

O conector do Notion disponibiliza sete tabelas de origem no esquema de origem default. Ingira tabelas individuais ou as tabelas de que você precisa.

Ingerir tabelas específicas

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

Na definição do pipeline, o recurso notion_pipeline define o pipeline, e a matriz objects lista as tabelas a serem ingeridas. Cada entrada mapeia um source_table no esquema de origem default para seu catálogo, esquema e tabela de destino. O destination_table é opcional: se você o omitir, o conector nomeia a tabela de destino com base no source_table.

Declarative Automation Bundles

O arquivo de definição de pipeline a seguir ingere tabelas individuais do Notion:

YAML

resources:
  pipelines:
    notion_pipeline:
      name: notion_pipeline
      catalog: 'main'
      target: 'notion_data'
      ingestion_definition:
        connection_name: notion_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'pages'
              destination_catalog: 'main'
              destination_schema: 'notion_data'
              destination_table: 'pages'
          - table:
              source_schema: 'default'
              source_table: 'data_sources'
              destination_catalog: 'main'
              destination_schema: 'notion_data'
              destination_table: 'data_sources'
          - table:
              source_schema: 'default'
              source_table: 'blocks'
              destination_catalog: 'main'
              destination_schema: 'notion_data'
              destination_table: 'blocks'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas individuais do Notion:

Python

pipeline_name = "notion_pipeline"
connection_name = "<notion-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "pages",
          "destination_catalog": "main",
          "destination_schema": "notion_data",
          "destination_table": "pages"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "data_sources",
          "destination_catalog": "main",
          "destination_schema": "notion_data",
          "destination_table": "data_sources"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "blocks",
          "destination_catalog": "main",
          "destination_schema": "notion_data",
          "destination_table": "blocks"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job dos Pacotes de Automação Declarativa

O exemplo a seguir é um arquivo de definição de job para uso com Pacotes de Automação Declarativa. O job é executado diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    notion_job:
      name: notion_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: notion_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.notion_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Passos seguintes

Comece, programe e configure alertas para seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• Perguntas frequentes sobre o conector Notion
• Limitações do conector do Notion
• Referência do conector Notion
• Solucionar problemas do conector Notion