Ingerir dados do SurveyMonkey

info

Beta

Esse recurso está na versão beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect for SurveyMonkey na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Crie um pipeline gerenciado do Lakeflow Connect que ingere dados do SurveyMonkey em tabelas do Unity Catalog. Use a interface do usuário do Databricks, Pacotes de Automação Declarativa ou um notebook do Databricks.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute Serverless.

  • Para criar uma nova conexão, é preciso ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector for compatível com a criação de pipelines pela IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo concluindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipelines baseada em API ou não forem administradores, um administrador deverá primeiro criar a conexão no Explorador de Catálogos. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir dados do SurveyMonkey, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para SurveyMonkey e Criar uma conexão SurveyMonkey.

Opções do conector

Para as opções que o conector SurveyMonkey aceita, seu escopo e as tabelas às quais eles se aplicam, consulte Opções de conector. Defina opções com escopo de pipeline em source_configurations. Consulte Exemplos para obter o uso.

Criar um pipeline de ingestão

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
2. Na página Adicionar dados , em Conectores Databricks , clique em SurveyMonkey .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do SurveyMonkey. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para SurveyMonkey.
4. Clique em Avançar .
5. Na página Configuração de ingestão , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Origem , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Programações e notificações , clique em Criar programar . Defina a frequência para refresh as tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha na operação do pipeline, em seguida, clique em Salvar e fazer a execução do pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do SurveyMonkey como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Criar um pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/surveymonkey_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência de ingestão de dados (por exemplo, resources/surveymonkey_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook para o seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão.

3. Modifique a célula três com os detalhes da configuração do seu pipeline. Veja pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure as configurações avançadas de pipeline. Consulte Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector SurveyMonkey disponibiliza 11 tabelas de origem no esquema de origem default. Ingira tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas individuais do SurveyMonkey:

YAML

resources:
  pipelines:
    surveymonkey_pipeline:
      name: surveymonkey_pipeline
      catalog: 'main'
      target: 'surveymonkey_data'
      ingestion_definition:
        connection_name: surveymonkey_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'surveys'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'
              destination_table: 'surveys'
          - table:
              source_schema: 'default'
              source_table: 'survey_responses'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'
              destination_table: 'survey_responses'
          - table:
              source_schema: 'default'
              source_table: 'contacts'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'
              destination_table: 'contacts'

Databricks notebook

A seguinte especificação de pipeline ingere tabelas individuais do SurveyMonkey:

Python

pipeline_name = "surveymonkey_pipeline"
connection_name = "<surveymonkey-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "surveys",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data",
          "destination_table": "surveys"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "survey_responses",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data",
          "destination_table": "survey_responses"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "contacts",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data",
          "destination_table": "contacts"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir a partir de uma data de início específica

Use a opção start_datetime para controlar até onde as tabelas incrementais lidas na primeira sincronização voltam.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere tabelas do SurveyMonkey a partir de uma data de início específica:

YAML

resources:
  pipelines:
    surveymonkey_pipeline:
      name: surveymonkey_pipeline
      catalog: 'main'
      target: 'surveymonkey_data'
      ingestion_definition:
        connection_name: surveymonkey_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'surveys'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'
              destination_table: 'surveys'
          - table:
              source_schema: 'default'
              source_table: 'survey_responses'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'
              destination_table: 'survey_responses'

Databricks notebook

A especificação de pipeline a seguir ingere tabelas SurveyMonkey de uma data de começar específica:

Python

pipeline_name = "surveymonkey_pipeline"
connection_name = "<surveymonkey-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "surveys",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data",
          "destination_table": "surveys"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "survey_responses",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data",
          "destination_table": "survey_responses"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use esta opção para ingerir todas as tabelas de origem do SurveyMonkey em um único esquema de destino com uma única declaração.

Declarative Automation Bundles

O arquivo de definição de pipeline a seguir ingere todas as tabelas SurveyMonkey compatíveis em um esquema de destino:

YAML

resources:
  pipelines:
    surveymonkey_pipeline:
      name: surveymonkey_pipeline
      catalog: 'main'
      target: 'surveymonkey_data'
      ingestion_definition:
        connection_name: surveymonkey_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'surveymonkey_data'

Databricks notebook

A especificação de pipeline a seguir ingere todas as tabelas SurveyMonkey suportadas em um esquema de destino:

Python

pipeline_name = "surveymonkey_pipeline"
connection_name = "<surveymonkey-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "surveymonkey_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

O que segue é um exemplo de arquivo de definição de job para uso com Pacotes de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    surveymonkey_job:
      name: surveymonkey_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: surveymonkey_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.surveymonkey_pipeline.id}

Padrões comuns

Para configurações de pipeline avançadas, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• Perguntas frequentes do conector SurveyMonkey
• Limitações do conector SurveyMonkey
• Referência do conector SurveyMonkey
• Solucionar problemas do conector SurveyMonkey