Limitações do conector do Microsoft SharePoint

info

Beta

O conector do SharePoint está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Esta página lista as limitações e considerações para ingestão do Microsoft SharePoint usando Databricks LakeFlow Connect.

Limitações gerais do conector SaaS

As limitações desta seção se aplicam a todos os conectores SaaS em LakeFlow Connect.

• Quando o senhor executa um pipeline agendado, o alerta não é acionado imediatamente. Em vez disso, eles são acionados quando a próxima atualização é executada.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do pipeline declarativo do LakeFlow Spark .
• Durante os períodos de manutenção da fonte, a Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipeline de vários destinos é somente de API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se o senhor renomear uma tabela no pipeline, ela se tornará um pipeline somente de API e não será mais possível editar o pipeline na interface do usuário.
• A seleção e a desseleção em nível de coluna são somente para API.
• Se o senhor selecionar uma coluna depois que um pipeline já tiver começado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, o senhor deve executar manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
• O sistema de origem presume que as colunas do cursor estão aumentando monotonicamente.
• Com o SCD tipo 1 ativado, as exclusões não produzem um evento delete explícito no feed de dados de alteração. Para exclusões auditáveis, use o SCD tipo 2 se o conector for compatível com ele. Para obter detalhes, consulte Exemplo: Processamento de SCD tipo 1 e SCD tipo 2 com dados de origem CDF.

Limitações específicas do conector

• O conector do SharePoint só oferece suporte a arquivos com 100 MB ou menos. Os metadados de arquivos com mais de 100 MB serão ingeridos, mas o conteúdo do arquivo não será baixado.

• Não há suporte para a ingestão de listas de controle de acesso (ACLs) em nível de arquivo e outros metadados personalizados do SharePoint.

• Não há suporte para a ingestão de arquivos vinculados a uma biblioteca de documentos diferente do SharePoint.

• A seleção e desseleção de arquivos individuais em uma unidade não são suportadas. O conector ingere todos os arquivos em uma unidade.

• Os utilitários fornecidos para uso downstream são limitados ao clustering de usuário único. No entanto, o clustering de usuário único não pode acessar tabelas de transmissão criadas por outros usuários. Portanto, cada usuário downstream deve criar seu próprio pipeline de ingestão.

  Você pode modificar os utilitários para que funcionem em clusters serverless e compartilhados, mas isso pode afetar o desempenho. Consulte os exemplos de acesso a arquivos.

• Alguns campos (por exemplo, quickXorHash, mimeType) não são compatíveis com todos os formatos de arquivo. Mesmo nesses casos, o download de arquivos e a ingestão de outros metadados devem funcionar.

• A Databricks recomenda a ingestão no máximo uma vez por hora.

• O conector é somente para API. A interface do usuário do Databricks não é compatível.