Limitações do conector do Microsoft SharePoint

Esta página lista as limitações e considerações para ingestão do Microsoft SharePoint usando Databricks LakeFlow Connect.

Limitações específicas do conector

• Para a ingestão não estruturada (BINARYFILE), o conector aceita somente arquivos de até 100 MB. Os metadados para arquivos maiores que 100 MB são ingeridos, mas o conteúdo do arquivo não é baixado. Não há limite de tamanho de arquivo para formatos de arquivo estruturados.

• A ingestão não estruturada (BINARYFILE) suporta apenas o modo de armazenamento SCD_TYPE_1. Ingestão estruturada (CSV, JSON, XML, EXCEL e outros formatos) suporta apenas o modo de armazenamento APPEND_ONLY. SCD tipo 2 não é compatível. Ao configurar o modo de armazenamento, defina storage_mode em table_configuration. Definir o campo scd_type gera um erro.

• O conector não suporta a seleção de arquivos individuais. Ingere todos os arquivos em uma pasta, unidade, subsítio ou site configurado.

• O conector não oferece suporte à ingestão de listas de controle de acesso (ACLs) em nível de arquivo do SharePoint.

• O conector não oferece suporte para ingerir arquivos vinculados a uma biblioteca de documentos do SharePoint diferente.

• A Databricks recomenda a ingestão no máximo uma vez por hora.

• Os utilitários fornecidos para utilização a jusante são limitados a clusters para um único usuário. No entanto, clusters de usuário único não podem acessar tabelas de transmissão criadas por outros usuários. Cada usuário a jusante deve criar seu próprio pipeline de ingestão. Você pode modificar as utilidades para fazê-las funcionar em clusters serverless e compartilhados, mas isso pode afetar o desempenho. Consulte Exemplos de acesso a arquivos.

• Alguns campos (por exemplo, quick_xor_hash, mime_type) não são suportados para todos os formatos de arquivo. Download de arquivos e outras ingestões de metadados continuam a funcionar nesses casos.