Limitações do conector do Microsoft SharePoint

info

Visualização

O conector do Microsoft SharePoint está em versão beta.

Esta página lista as limitações e considerações para ingestão do Microsoft SharePoint usando Databricks LakeFlow Connect.

Limitações gerais do conector SaaS

As limitações desta seção se aplicam a todos os conectores SaaS em LakeFlow Connect.

Quando o senhor executa um pipeline agendado, o alerta não é acionado imediatamente. Em vez disso, eles são acionados quando a próxima atualização é executada.
Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do pipeline declarativo LakeFlow.
Durante os períodos de manutenção da fonte, a Databricks pode não conseguir acessar seus dados.
Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
O suporte a pipeline de vários destinos é somente de API.
Opcionalmente, você pode renomear uma tabela que você ingere. Se o senhor renomear uma tabela no pipeline, ela se tornará um pipeline somente de API e não será mais possível editar o pipeline na interface do usuário.
A seleção e a desseleção em nível de coluna são somente para API.
Se o senhor selecionar uma coluna depois que um pipeline já tiver começado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, o senhor deve executar manualmente um refresh completo na tabela.
O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
O sistema de origem presume que as colunas do cursor estão aumentando monotonicamente.

O conector do SharePoint só oferece suporte a arquivos com 100 MB ou menos. Os metadados de arquivos com mais de 100 MB serão ingeridos, mas o conteúdo do arquivo não será baixado.
Não há suporte para a ingestão de listas de controle de acesso (ACLs) em nível de arquivo e outros metadados personalizados do SharePoint.
Não há suporte para a ingestão de arquivos vinculados a uma biblioteca de documentos diferente do SharePoint.
A seleção e desseleção de arquivos individuais em uma unidade não são suportadas. O conector ingere todos os arquivos em uma unidade.
Os utilitários fornecidos para uso downstream são limitados ao clustering de usuário único. No entanto, o clustering de usuário único não pode acessar tabelas de transmissão criadas por outros usuários. Portanto, cada usuário downstream deve criar seu próprio pipeline de ingestão.

O senhor pode modificar os utilitários para que funcionem em serverless e em clustering compartilhado, mas isso pode afetar o desempenho. Veja exemplos.
Alguns campos (por exemplo, quickXorHash, mimeType) não são compatíveis com todos os formatos de arquivo. Mesmo nesses casos, o download de arquivos e a ingestão de outros metadados devem funcionar.
A Databricks recomenda a ingestão no máximo uma vez por hora.
O conector é somente para API. A interface do usuário do Databricks não é compatível.