Limitações do conector HubSpot

Saiba mais sobre as limitações conhecidas ao usar o conector de gerenciamento do HubSpot no LakeFlow Connect.

Limitações gerais

• Ao executar um pipeline agendado, os alertas não são acionados imediatamente. Em vez disso, elas são acionadas na próxima execução da atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é automaticamente excluída. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante períodos de manutenção da fonte de dados, o Databricks poderá não conseguir acessar seus dados.
• Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
• O suporte pipeline com múltiplos destinos é feito exclusivamente via API.
• Opcionalmente, você pode renomear uma tabela que você importa. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente para API e você não poderá mais editá- pipeline na interface do usuário.
• Se você selecionar uma coluna depois que um pipeline já tiver sido iniciado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, execute manualmente uma refresh completa na tabela.
• O Databricks não consegue ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas provenham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas do cursor estejam em ordem crescente monotônica.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines subsequentes em Lakeflow pipelines para transformações.

Centros suportados

O conector do HubSpot oferece suporte à ingestão do HubSpot Marketing Hub e do CRM Hub. A ingestão do CRM Hub está em Beta e requer a prévia do workspace hubspot_connector_crm_objects; consulte Configurar OAuth para ingestão do HubSpot para ativá-la. Se você tiver interesse em realizar a ingestão de outros hubs, entre em contato com sua equipe de conta da Databricks.

limites de taxa da API

A HubSpot impõe limites de taxa de requisições à API (por exemplo, 100 requisições a cada 10 segundos para aplicativos gratuitos). Quando o conector atinge um limite de taxa, as solicitações são repetidas automaticamente. Para recomendações de desempenho, consulte execução lenta do pipeline.

Tempos de sincronização longos para tabelas complexas

Algumas tabelas podem demorar muito para serem processadas devido à alta demanda por chamadas à API. Por exemplo, a tabela marketing_campaign_asset requer 24 chamadas de API separadas por campanha. Se você tiver 100 campanhas, precisará de aproximadamente 2.400 chamadas de API para essa única tabela, em comparação com cerca de 5 chamadas de API para tabelas mais simples. Espere tempos de sincronização longos para essas tabelas. Por exemplo, uma tabela com 5.000 campanhas pode levar aproximadamente de quatro a seis horas. Para obter a lista completa de tabelas aplicáveis, consulte Tabelas que suportam apenas atualizações de lotes. Para recomendações de desempenho, consulte execução lenta do pipeline.

Campos aninhados representados como strings

Alguns campos no esquema do HubSpot estão aninhados em estruturas complexas, e os campos de nível interno podem incluir atributos personalizados. Para garantir compatibilidade e consistência, esses campos são representados como strings.

Por exemplo, a tabela forms tem um campo com displayOptions. Cada formulário possui configurações de exibição variáveis, portanto, este campo é armazenado como uma string para se adequar às diferentes estruturas.

Suporte incremental limitado

Algumas tabelas não suportam atualizações incrementais porque a API do HubSpot não oferece uma maneira de filtrar registros com base em um cursor. Essas tabelas são atualizadas a cada atualização do pipeline.

Para obter uma lista das tabelas compatíveis e seus padrões de atualização, consulte a referência do conector do HubSpot.