Limitações do conector do Microsoft OneDrive

info

Beta

Este recurso está em Beta. Os administradores do Workspace podem controlar o acesso a esse recurso na página Pré-visualizações ao optar pela prévia Lakeflow Connect para OneDrive For Business . Consulte Gerenciar prévias do Databricks.

Esta página lista as limitações e considerações para a ingestão do Microsoft OneDrive usando o Databricks Lakeflow Connect.

Limitações específicas do conector

• Durante a ingestão não estruturada usando arquivo binário, o conteúdo de cada arquivo é carregado na memória como um único registro, portanto, arquivos maiores que 100 MB podem fazer com que a atualização falhe (por exemplo, com um erro de falta de memória ou por exceder o limite de 2 GB para colunas binárias no Delta). Para evitar isso, exclua arquivos grandes usando um row_filter na coluna length em table_configuration. Por exemplo, "row_filter": "length <= 104857600" ignora arquivos maiores que 100 MB. Para arquivos não estruturados grandes, é preferível ingerir valores gerenciados de FILE. Não há limite de tamanho de arquivo para formatos de arquivo estruturados.
• A ingestão não estruturada (BINARYFILE e FILE) é compatível apenas com o modo de armazenamento SCD_TYPE_1. A ingestão estruturada (CSV, JSON, XML, EXCEL e outros formatos) é compatível apenas com o modo de armazenamento APPEND_ONLY. O SCD tipo 2 não é compatível.
• A evolução do esquema é compatível apenas com CSV, JSON, XML, PARQUET e AVRO. Para EXCEL, ORC, BINARYFILE e FILE, defina schema_evolution_mode como NONE.

Para formatos compatíveis e parâmetros de configuração, consulte a referência do conector do OneDrive.