Limitações do conector SurveyMonkey

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect for SurveyMonkey na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

O conector SurveyMonkey gerenciado no Lakeflow Connect não captura exclusões para suas tabelas incrementais e reingere oito de suas 11 tabelas na íntegra em cada execução.

Limitações gerais do conector de software como serviço (SaaS)

As limitações nesta seção se aplicam a todos os conectores SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante períodos de manutenção da fonte, o Databricks pode não conseguir acessar seus dados.
• Se o nome da tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
• O suporte para pipelines de vários destinos é apenas para API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente para API e você não poderá mais editar o pipeline na UI.
• Se você selecionar uma coluna depois que um pipeline já tiver começado, o conector não fará o backfill automático de dados para a nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não consegue ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem assume que as colunas de cursor estão aumentando monotonicamente.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção se aplicam ao conector SurveyMonkey.

• Para ingerir outros objetos do SurveyMonkey, como webhooks, usuários, grupos de trabalho, rollups de resposta ou benchmarks, use outro método de ingestão. O conector suporta apenas as 11 tabelas pré-criadas, portanto esses objetos não são ingeridos.
• Espere que cada execução de pipeline reinsira todos os registros nas tabelas survey_collectors, collectors, survey_folders, contacts, contact_lists, contact_list_contacts, collector_messages e collector_recipients. Essas tabelas não oferecem suporte à ingestão incremental, portanto, cada execução as lê na íntegra. Em accounts com muitas pesquisas ou coletores, essas leituras completas podem usar a maior parte do limite de solicitações diárias do app. Para ficar dentro do limite, execute o pipeline com menos frequência, omita tabelas de que você não precisa ou peça ao SurveyMonkey um limite maior. Veja Limite de taxa da API do SurveyMonkey excedido.
• Para ingerir dados mais antigos, defina uma opção de conector start_datetime anterior antes da primeira sincronização. As tabelas surveys, survey_details e survey_responses leem apenas registros modificados em ou após start_datetime, que por default é 365 dias antes da primeira sincronização, então registros mais antigos não são ingeridos. Consulte Opções de conector.
• Para remover registros excluídos no SurveyMonkey, execute um refresh completo. O conector não captura exclusões para as tabelas surveys, survey_details e survey_responses, portanto, os registros excluídos permanecem nas tabelas de destino.
• Para ingerir mais de 25 respostas por pesquisa, use um plano pago do SurveyMonkey. Durante o período de rascunho de 90 dias, um aplicativo autorizado por uma account de plano básico ingere apenas as primeiras 25 respostas para cada pesquisa, sem erro.
• Deixe a tabela survey_folders fora do pipeline para conexões com a Região de Dados definida como ca. O endpoint de pastas de pesquisa do SurveyMonkey não está disponível para usuários canadenses, portanto, uma atualização de pipeline que inclui essa tabela falha para essas conexões. Veja a referência da API de pastas de pesquisa do SurveyMonkey.
• Não espere uma survey_details linha para pesquisas que o SurveyMonkey não consegue retornar na íntegra, como pesquisas com mais de 1.000 perguntas. O conector pula essas pesquisas, então suas páginas e perguntas não são ingeridas, e outras pesquisas são sincronizadas normalmente. Veja os limites de resposta do SurveyMonkey.