Pular para o conteúdo principal
Última atualização em

Limitações do conector do Microsoft SharePoint

Esta página lista as limitações e considerações para ingestão do Microsoft SharePoint usando Databricks LakeFlow Connect.

Limitações específicas do conector​

  • A ingestão não estruturada (BINARYFILE) suporta apenas o modo de armazenamento SCD_TYPE_1. Ingestão estruturada (CSV, JSON, XML, EXCEL e outros formatos) suporta apenas o modo de armazenamento APPEND_ONLY. SCD tipo 2 não é compatível. Ao configurar o modo de armazenamento, defina storage_mode em table_configuration. Definir o campo scd_type gera um erro.

  • Durante a ingestão não estruturada usando arquivo binário, o conteúdo de cada arquivo é carregado na memória como um único registro, assim, arquivos maiores que 100 MB podem fazer com que a atualização falhe (por exemplo, com um erro de falta de memória ou excedendo o limite de 2 GB em colunas binárias no Delta). Para evitar isso, exclua arquivos grandes usando um row_filter na coluna length em table_configuration. Por exemplo, "row_filter": "length <= 104857600" ignora arquivos maiores que 100 MB.

  • O conector não suporta a seleção de arquivos individuais. Ingere todos os arquivos em uma pasta, unidade, subsítio ou site configurado.

  • O conector não oferece suporte à ingestão de listas de controle de acesso (ACLs) em nível de arquivo do SharePoint.

  • O conector não oferece suporte para ingerir arquivos vinculados a uma biblioteca de documentos do SharePoint diferente.

  • Os utilitários fornecidos para utilização a jusante são limitados a clusters para um único usuário. No entanto, clusters de usuário único não podem acessar tabelas de transmissão criadas por outros usuários. Cada usuário a jusante deve criar seu próprio pipeline de ingestão. Você pode modificar as utilidades para fazê-las funcionar em clusters serverless e compartilhados, mas isso pode afetar o desempenho. Consulte Exemplos de acesso a arquivos.

  • Alguns campos (por exemplo, quick_xor_hash, mime_type) não são suportados para todos os formatos de arquivo. Download de arquivos e outras ingestões de metadados continuam a funcionar nesses casos.

Nesta página