Limitations du connecteur Microsoft OneDrive

info

Bêta

Cette fonctionnalité est en bêta. Les administrateurs de Workspace peuvent contrôler l’accès à cette fonctionnalité depuis la page Aperçus en optant pour la préversion Lakeflow Connect pour OneDrive For Business . Consultez Gérer les aperçus Databricks.

Cette page répertorie les limitations et les considérations relatives à l’ingestion depuis Microsoft OneDrive avec Databricks Lakeflow Connect.

Limitations spécifiques aux connecteurs

• Lors de l’ingestion de données non structurées à l’aide d’un fichier binaire, le contenu de chaque fichier est chargé en mémoire comme un enregistrement unique ; les fichiers de plus de 100 Mo peuvent donc entraîner l’échec de la mise à jour (par exemple, en raison d’une erreur de mémoire insuffisante ou du dépassement de la limite de 2 Go applicable aux colonnes binaires dans Delta). Pour éviter cela, excluez les fichiers volumineux à l’aide d’un row_filter sur la colonne length dans table_configuration. Par exemple, "row_filter": "length <= 104857600" ignore les fichiers de plus de 100 Mo. Pour les fichiers non structurés volumineux, il est préférable d’ingérer des valeurs FILE gérées. Il n’existe aucune limite de taille de fichier pour les formats de fichiers structurés.
• L’ingestion non structurée (BINARYFILE et FILE) ne prend en charge que le mode de stockage SCD_TYPE_1. L’ingestion structurée (CSV, JSON, XML, EXCEL et d’autres formats) ne prend en charge que le mode de stockage APPEND_ONLY. Le SCD de type 2 n’est pas pris en charge.
• L’évolution des schémas est prise en charge uniquement pour CSV, JSON, XML, PARQUET et AVRO. Pour EXCEL, ORC, BINARYFILE et FILE, définissez schema_evolution_mode sur NONE.

Pour connaître les formats pris en charge et les parameter de configuration, consultez la documentation de référence du connecteur OneDrive.