Limitações do conector HubSpot

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Saiba mais sobre as limitações conhecidas ao usar o conector de gerenciamento do HubSpot no LakeFlow Connect.

Limitações gerais

• Ao executar um pipeline agendado, os alertas não são acionados imediatamente. Em vez disso, elas são acionadas na próxima execução da atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do pipeline declarativo LakeFlow Spark .
• Durante períodos de manutenção da fonte de dados, o Databricks poderá não conseguir acessar seus dados.
• Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
• O suporte pipeline com múltiplos destinos é feito exclusivamente via API.
• Opcionalmente, você pode renomear uma tabela que você importa. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente para API e você não poderá mais editá- pipeline na interface do usuário.
• A seleção e a deseleção em nível de coluna são exclusivas da API.
• Se você selecionar uma coluna depois que um pipeline já tiver sido iniciado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, execute manualmente uma refresh completa na tabela.
• O Databricks não consegue ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas provenham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas do cursor estejam em ordem crescente monotônica.
• Com o SCD tipo 1 ativado, as exclusões não produzem um evento delete explícito no feed de dados de alteração. Para exclusões auditáveis, use o tipo SCD 2 se o conector o suportar. Para obter detalhes, consulte o exemplo: Processamento de SCD tipo 1 e SCD tipo 2 com dados de origem CDF.
• O conector ingere dados brutos sem transformações. Use o pipeline declarativo LakeFlow Spark downstream para transformações.

Interfaces suportadas

Não é possível criar um pipeline de ingestão do HubSpot na interface Databricks .

limites de taxa da API

A HubSpot impõe limites de taxa de requisições à API, incluindo um limite de 10 segundos por requisição. Para recomendações de desempenho, consulte execução lenta do pipeline.

Tempos de sincronização longos para tabelas complexas

Algumas tabelas podem demorar muito para serem processadas devido à alta demanda por chamadas à API. Por exemplo, a tabela marketing_campaign_asset requer 24 chamadas de API separadas por campanha. Se você tiver 100 campanhas, precisará de aproximadamente 2.400 chamadas de API para essa única tabela, em comparação com cerca de 5 chamadas de API para tabelas mais simples. Espere tempos de sincronização longos para essas tabelas. Por exemplo, uma tabela com 5.000 campanhas pode levar aproximadamente de quatro a seis horas. Para obter a lista completa de tabelas aplicáveis, consulte Tabelas que suportam apenas atualizações de lotes. Para recomendações de desempenho, consulte execução lenta do pipeline.

Campos aninhados representados como strings

Alguns campos no esquema do HubSpot estão aninhados em estruturas complexas, e os campos de nível interno podem incluir atributos personalizados. Para garantir compatibilidade e consistência, esses campos são representados como strings.

Por exemplo, a tabela forms tem um campo com displayOptions. Cada formulário possui configurações de exibição variáveis, portanto, este campo é armazenado como uma string para se adequar às diferentes estruturas.

Suporte incremental limitado

Algumas tabelas não suportam atualizações incrementais porque a API do HubSpot não oferece uma maneira de filtrar registros com base em um cursor. Essas tabelas são atualizadas a cada atualização do pipeline.

Para obter uma lista das tabelas compatíveis e seus padrões de atualização, consulte a referência do conector do HubSpot.