Comparer les modes de détection de fichiers d’Auto Loader
Auto Loader prend en charge deux modes de détection des nouveaux fichiers : la liste des répertoires et la notification de fichiers. Vous pouvez changer de mode de découverte de fichiers à travers les redémarrages de Stream et toujours obtenir des garanties de traitement de données « exactement une fois ».
Auto Loader ne garantit pas l'ordre dans lequel les fichiers sont découverts ou traités, quel que soit le mode de détection des fichiers. Concevez vos pipelines pour gérer les arrivées de fichiers désordonnées. Pour obtenir des conseils, consultez Gérer les données désordonnées.
Mode de listage de répertoire
Auto Loader utilise le mode de liste de répertoires default. En mode de listage de répertoire, Auto Loader identifie les nouveaux fichiers en listant le répertoire d'entrée. Le mode de listing de répertoires vous permet de start rapidement des Stream Auto Loader sans aucune configuration de permissions autre que l'accès à vos données sur le stockage cloud.
Dans Databricks Runtime 9,1 et versions supérieures, Auto Loader peut détecter automatiquement si les fichiers arrivent avec un ordre lexical dans votre stockage cloud et réduire considérablement le nombre d’appels d’API nécessaires pour détecter les nouveaux fichiers. Consultez Configurer les flux Auto Loader en mode de listage de répertoires pour plus de détails.
Mode de notification de fichiers (recommandé)
Le mode de notification de fichier exploite les services de notification de fichiers et de files d’attente dans votre compte d’infrastructure cloud. Auto Loader peut configurer automatiquement un service de notification et un service de file d'attente qui s'abonnent aux événements de fichiers du répertoire d'entrée. Si vous activez les événements de fichiers sur l’emplacement externe qui contient les fichiers en question, vous n’avez pas besoin de fournir d’autorisations supplémentaires lorsque vous configurez le Stream Auto Loader.
Le mode de notification de fichiers avec événements de fichiers est plus performant et plus évolutif que la liste de répertoires. Databricks recommande le mode de notification de fichiers à l'aide d'événements de fichiers plutôt que le mode de listage de répertoires pour la plupart des charges de travail. Si vous utilisez Auto Loader en mode de listage de répertoires aujourd'hui, Databricks vous recommande de migrer vers le mode de notification de fichiers à l'aide d'événements de fichiers pour constater des améliorations significatives des performances. Voir Configurer les Stream Auto Loader en mode de notification de fichiers.
Stockage cloud pris en charge par les modes
Ce tableau répertorie le compute pris en charge pour chaque mode de détection de fichiers, par fournisseur de stockage cloud.
Si vous migrez d'un emplacement externe ou d'un montage DBFS vers un volume Unity Catalog, Auto Loader continue de fournir des garanties d'exécution unique.
Stockage cloud | Liste de répertoires | Notifications de fichiers sans événements de fichiers | Notifications de fichiers avec événements de fichiers |
|---|---|---|---|
AWS S3 | Toutes les versions | Toutes les versions | Databricks Runtime 14.3 LTS et versions ultérieures |
ADLS | Toutes les versions | Toutes les versions | Databricks Runtime 14.3 LTS et versions ultérieures |
GCS | Toutes les versions | Toutes les versions | Databricks Runtime 14.3 LTS et versions ultérieures |
Stockage Azure Blob | Toutes les versions | Toutes les versions | Non pris en charge |
DBFS | Toutes les versions | Pour les points de montage uniquement | Databricks Runtime 14.3 LTS et versions ultérieures, si le point de montage DBFS a un emplacement externe défini dans Unity Catalog |
Volume Unity Catalog | Databricks Runtime 13.3 LTS ou version ultérieure | Non pris en charge | Databricks Runtime 14.3 LTS et versions ultérieures |