Ingerir dados do PayPal

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador de workspace deve habilitar o Lakeflow Connect para PayPal na página de Prévias . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado pelo PayPal usando o Lakeflow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro cumpra os seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute Serverless.

  • Para criar uma nova conexão, você deve ter privilégios de CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo completando os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou não forem usuários administradores, um administrador deverá criar a conexão no Catalog Explorer primeiro. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um schema existente ou privilégios CREATE SCHEMA no catalog de destino.

• Para ingerir dados do PayPal, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para PayPal e Criar uma conexão PayPal.

Opções do conector

Defina opções com escopo de pipeline em source_configurations. Consulte Exemplos para obter informações sobre o uso.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	Todas as tabelas incrementais (transaction, dispute, invoice)	Data e hora mais antigas a partir das quais ingerir dados, no formato yyyy-MM-ddTHH:mm:ssZ (por exemplo, 2024-01-01T00:00:00Z). Aplica-se apenas à primeira sincronização de cada tabela; sincronizações posteriores continuam a partir do cursor armazenado. Para default, consulte Opções de conector.

Opção	Escopo	Obrigatório	Aplica-se a	Descrição
start_datetime	Pipeline	Não	Todas as tabelas incrementais (transaction, dispute, invoice)	Data e hora mais antigas a partir das quais ingerir dados, no formato yyyy-MM-ddTHH:mm:ssZ (por exemplo, 2024-01-01T00:00:00Z). Aplica-se apenas à primeira sincronização de cada tabela; sincronizações posteriores continuam a partir do cursor armazenado. Para default, consulte Opções de conector.

Criar um pipeline de ingestão

Para obter uma lista das tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Adicionar dados , em Conectores Databricks , clique em PayPal .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do PayPal. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para o PayPal.
4. Clique em Avançar .
5. Na página Configuração de ingestão , digite um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios de USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Origem , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página programar e notificações , clique em Criar programar . Defina a frequência para refresh as tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha na operação do pipeline e, em seguida, clique em Salvar e execução pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do PayPal como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Crie um bundle usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição do pipeline (por exemplo, resources/paypal_pipeline.yml). Consulte pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/paypal_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook no seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão. Não modificar.

3. Modifique a célula três com os detalhes de configuração do seu pipeline. Consulte pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure configurações avançadas de pipeline. Consulte Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector do PayPal disponibiliza seis tabelas de origem no esquema de origem default. Ingira tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas

Use essa opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas individuais do PayPal:

YAML

resources:
  pipelines:
    paypal_pipeline:
      name: paypal_pipeline
      catalog: 'main'
      target: 'paypal_data'
      ingestion_definition:
        connection_name: paypal_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'transaction'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'transaction'
          - table:
              source_schema: 'default'
              source_table: 'dispute'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'dispute'
          - table:
              source_schema: 'default'
              source_table: 'invoice'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'invoice'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas individuais do PayPal:

Python

pipeline_name = "paypal_pipeline"
connection_name = "<paypal-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "transaction",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "transaction"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "dispute",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "dispute"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "invoice",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "invoice"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir a partir de uma data de início específica

Use a opção start_datetime para controlar até onde as tabelas incrementais lidas em sua primeira sincronização.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas do PayPal a partir de uma data de começar específica:

YAML

resources:
  pipelines:
    paypal_pipeline:
      name: paypal_pipeline
      catalog: 'main'
      target: 'paypal_data'
      ingestion_definition:
        connection_name: paypal_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'transaction'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'transaction'
          - table:
              source_schema: 'default'
              source_table: 'dispute'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'dispute'
          - table:
              source_schema: 'default'
              source_table: 'invoice'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'
              destination_table: 'invoice'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas do PayPal a partir de uma data de começar específica:

Python

pipeline_name = "paypal_pipeline"
connection_name = "<paypal-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "transaction",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "transaction"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "dispute",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "dispute"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "invoice",
          "destination_catalog": "main",
          "destination_schema": "paypal_data",
          "destination_table": "invoice"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use esta opção para ingerir todas as tabelas de origem do PayPal em um único esquema de destino com uma declaração.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere todas as tabelas do PayPal suportadas em um esquema de destino:

YAML

resources:
  pipelines:
    paypal_pipeline:
      name: paypal_pipeline
      catalog: 'main'
      target: 'paypal_data'
      ingestion_definition:
        connection_name: paypal_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'paypal_data'

Databricks notebook

A seguinte especificação de pipeline ingere todas as tabelas do PayPal compatíveis em um esquema de destino:

Python

pipeline_name = "paypal_pipeline"
connection_name = "<paypal-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "paypal_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

Abaixo está um arquivo de definição de job de exemplo para usar com Pacotes de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    paypal_job:
      name: paypal_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: paypal_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.paypal_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• Perguntas frequentes do conector do PayPal
• Limitações do conector PayPal
• Referência do conector do PayPal
• Solucionar problemas do conector do PayPal