Limitações do conector de ingestão do Salesforce
Visualização
O conector de ingestão do Salesforce está na versão prévia pública.
Este artigo lista as limitações e considerações sobre a conexão e a ingestão de dados do Salesforce usando LakeFlow Connect.
- Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do DLT.
- Durante os períodos de manutenção da fonte, a Databricks pode não conseguir acessar seus dados.
- Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
Limitações gerais
-
Há um máximo de 250 objetos por pipeline. No entanto, não há limite conhecido para o número de linhas ou colunas suportadas nesses objetos.
-
base64, os tiposaddress,locationoucomplexValuenão são suportados. Essas colunas são eliminadas automaticamente durante a ingestão. -
Os seguintes objetos não são suportados:
-
Objetos com cláusulas
WHEREou restriçõesLIMIT:AnnouncementAppTabMemberCollaborationGroupRecordColorDefinitionContentDocumentLinkContentFolderItemContentFolderMemberDataStatisticsDatacloudDandBCompanyEntityParticleFieldDefinitionFieldHistoryArchiveFlexQueueItemFlowVariableViewFlowVersionViewIconDefinitionIdeaCommentNetworkUserHistoryRecentOwnerChangeOptionInfoPicklistValueInfoPlatformActionRelationshipDomainRelationshipInfoSearchLayoutSiteDetailUserEntityAccessUserFieldAccessVote
-
Objetos para monitoramento de eventos em tempo real:
ApiEventBulkApiResultEventStoreEmbeddedServiceDetailEmbeddedServiceLabelFormulaFunctionFormulaFunctionAllowedTypeFormulaFunctionCategoryIdentityProviderEventStoreIdentityVerificationEventLightningUriEventListViewEventLoginAsEventLoginEventLogoutEventPublisherRecordActionHistoryReportEventTabDefinitionUriEvent
-
Objetos que terminam com
__b,__xou__hd -
ActivityMetric -
ActivityMetricRollup -
Site
-
-
Só há suporte para um destino por pipeline. Todas as tabelas devem ter o mesmo catálogo e esquema.
-
Databricks selecione uma coluna de cursor para rastrear a leitura incremental de dados e alterações de sequência que compartilham o mesmo key primário. A Databricks seleciona a coluna do cursor na lista a seguir, em ordem de preferência:
SystemModstamp,LastModifiedDate,CreatedDate, eLoginTime.Por exemplo, se
SystemModstampnão estiver disponível, a Databricks procuraráLastModifiedDate. Se um objeto não tiver um desses cursores, o site Databricks tira um Snapshot da tabela. -
A Databricks transforma automaticamente os tipos de dados do Salesforce em tipos de dados compatíveis com o Delta. Para obter a lista aproximada de transformações, consulte Transformações automáticas de dados.
-
O Databricks pode ingerir campos de fórmula. No entanto, no momento, o site Databricks exige um Snapshot completo desses campos. Isso significa que a latência do pipeline depende do fato de seus dados do Salesforce incluírem campos de fórmula e do volume de atualizações em seus dados do Salesforce.
-
Databricks campos de fórmula de execução na mesma cadência que o restante do pipeline. No entanto, dentro da cadência de atualizações do pipeline, os campos sem fórmula podem ser atualizados antes dos campos com fórmula.
-
Databricks tratar as exclusões da mesma forma que as inserções e atualizações. Quando uma linha é excluída do Salesforce, ela é excluída da tabela bronze na próxima sincronização dos dados. Por exemplo, suponha que o senhor tenha um pipeline sendo executado de hora em hora. Se você sincronizar às 12h e tiver um registro excluído às 12h30, a exclusão não será refletida até que a sincronização às 13h ocorra.
Há um caso extremo: Se o pipeline não tiver sido executado depois que os registros foram excluídos, mas antes de serem removidos da lixeira do Salesforce, o Databricks perderá essas exclusões. A única maneira de se recuperar disso é com um refresh completo.
-
O Salesforce tem um limite de 4 conexões por usuário por aplicativo conectado. Se você precisar criar mais de 4 conexões, crie um novo usuário.
-
Por motivos de segurança, só autentique se o senhor tiver clicado em um link OAuth na interface do usuário do Databricks.
-
O Salesforce permite que o senhor gire um refresh tokens. O conector não suporta isso.
-
A seleção e a desseleção em nível de coluna não são suportadas.
-
O SCD tipo 2 não é compatível.
-
Não há suporte para atualizações de campos de fórmulas incrementais.
Limitações de exclusão
-
Se a tabela estiver habilitada para exclusão temporária:
- A exclusão é refletida na próxima sincronização.
-
Se a tabela não oferecer suporte à exclusão flexível:
- O conector agrupa automaticamente o Snapshot para ingestão
- Exceção: Isso não funciona para objetos de história. O conector presume que elas sejam lidas de forma incremental e que nenhuma exclusão ocorra.
-
Se a tabela oferecer suporte à exclusão reversível e o usuário excluir itens manualmente, o conector não poderá capturar a exclusão. O registro permanece na tabela bronze, a menos que o senhor execute um full-refresh.