Limitações do conector Smartsheet
Beta
Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.
Esta página contém informações sobre as limitações conhecidas do conector de gerenciamento Smartsheet no LakeFlow Connect.
Limitações gerais
- Ao executar um pipeline agendado, os alertas não são acionados imediatamente. Em vez disso, elas são acionadas na próxima execução da atualização.
- Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do pipeline declarativo LakeFlow Spark .
- Durante períodos de manutenção da fonte de dados, o Databricks poderá não conseguir acessar seus dados.
- Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
- O suporte pipeline com múltiplos destinos é feito exclusivamente via API.
- Opcionalmente, você pode renomear uma tabela que você importa. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente para API e você não poderá mais editá- pipeline na interface do usuário.
- A seleção e a deseleção em nível de coluna são exclusivas da API.
- Se você selecionar uma coluna depois que um pipeline já tiver sido iniciado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, execute manualmente uma refresh completa na tabela.
- O Databricks não consegue ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
- O sistema de origem pressupõe que as colunas do cursor estejam em ordem crescente monotônica.
- O conector ingere dados brutos sem transformações. Use o pipeline declarativo LakeFlow Spark downstream para transformações.
Tipos de objetos de origem suportados
O conector Smartsheet suporta os seguintes tipos de objetos de origem:
Tipo | Descrição |
|---|---|
Folha | Importa uma planilha individual do Smartsheet. |
Relatório | Importa um relatório do Smartsheet, que agrega linhas de várias planilhas de origem ou várias linhas de uma planilha em uma única view somente leitura. |
Limitações específicas do conector
Sem sincronização incremental
Este conector não suporta sincronização incremental. Cada execução pipeline realiza uma refresh completa da tabela de destino.
restrições de mapeamento de colunasDelta Lake
O conector Smartsheet usa o mapeamento de colunas do Delta Lake para dar suporte a nomes de colunas do Smartsheet que contêm caracteres especiais, espaços e pontuação. Isso permite uma representação precisa do esquema sem a necessidade de renomear colunas durante a ingestão. No entanto, habilitar o mapeamento de colunas introduz as seguintes limitações:
- A leitura de transmissões não é suportada : as tabelas criadas por este conector não podem ser lidas como fontes de transmissão. Esta é uma limitação do mapeamento de colunas Delta Lake , que atualiza o protocolo da tabela para a versão 2 do leitor e a versão 5 do gravador, que são incompatíveis com a transmissão estruturada.
- O recurso Change Data Feed (CDF) não é compatível : você não pode habilitar o Delta CDF em tabelas que usam mapeamento de colunas. Se o seu pipeline downstream utiliza CDF, escolha uma abordagem alternativa.
- Requer Databricks Runtime 10.4 LTS ou superior : as tabelas gravadas por este conector só podem ser lidas por clusters que executam Databricks Runtime 10.4 LTS ou superior. Versões mais antigas do ambiente de execução não são compatíveis com as versões necessárias do protocolo Delta.
O mapeamento de colunas está habilitado porque o Smartsheet permite nomes de colunas com caracteres como espaços, vírgulas e parênteses, que não são válidos em esquemas de tabela Delta padrão. Para obter mais informações, consulte Mapeamento de colunasDelta Lake.
Para nomes de campos e mapeamentos de tipos, consulte a referência do conector Smartsheet.