FAQ sur les événements de fichier
Trouvez des réponses aux questions fréquemment posées sur les événements de fichiers pour les emplacements externes.
Que sont les événements de fichier ?
Les événements de fichier permettent à Databricks de détecter les fichiers nouveaux ou modifiés via les notifications du cloud au lieu d'analyser votre stockage de manière répétée. Les événements de fichiers réduisent la latence d’ingestion et les coûts de listage du stockage cloud et sont activés par default sur les nouveaux emplacements externes.
Comment fonctionnent les événements de fichier ?
Lorsque vous activez les événements de fichiers en mode Automatique , Databricks configure votre compartiment de stockage cloud pour envoyer des notifications de modification de fichiers. Le service d'événements de fichiers Databricks lit les métadonnées de chemin de fichier du système de notification pour découvrir les fichiers nouveaux et modifiés. À titre de filet de sécurité, le service effectue également des listes complètes périodiques de répertoires pour vérifier qu'aucun fichier n'est manquant.
L'infrastructure de notification ne transmet jamais le contenu des fichiers.
Quelles fonctionnalités de Databricks utilisent les événements de fichiers ?
Les fonctionnalités suivantes utilisent les événements de fichiers lorsque vous les activez sur un emplacement externe :
- Auto Loader : Détecte les nouveaux fichiers pour l'ingestion incrémentielle sans listes de répertoires coûteuses. À partir de Databricks Runtime 18.1 et versions ultérieures, Auto Loader utilise automatiquement les événements de fichier lorsqu'ils sont disponibles (
useManagedFileEvents = if_available). - Triggers d'arrivée de fichiers : start automatiquement votre Job lorsque de nouveaux fichiers arrivent, ce qui améliore l'utilisation des Ressources et l'efficacité des coûts, car votre cluster ne s'exécute que lorsque de nouveaux fichiers doivent être traités. Les Trigger d'arrivée de fichiers sont considérablement plus évolutifs lorsque les événements de fichiers sont activés. Consultez Trigger des jobs à l'arrivée de nouveaux fichiers.
- Table update Trigger : automatically start your Job based on updates in a table. Les Trigger de mise à jour des tables sont beaucoup plus évolutifs avec les événements de fichiers activés. Voir Trigger Jobs lorsque les tables sources sont mises à jour.
Comment puis-je activer les événements de fichier dans mes pipelines et Jobs ?
Tout d'abord, activez les événements de fichier pour votre emplacement externe. Consultez Configuration des événements de fichiers pour un emplacement externe.
Si vous utilisez des événements de fichiers avec des triggers d'arrivée de fichiers ou de mise à jour de tables, vous n'avez pas besoin d'entreprendre d'action supplémentaire. Le Job bénéficie automatiquement des événements de fichiers.
De plus, si vous utilisez Auto Loader avec Databricks Runtime 18.1 ou une version ultérieure, aucune action supplémentaire n'est requise. Le pipeline bénéficie automatiquement des événements de fichier. Si vous utilisez une version d'exécution antérieure, activez les événements de fichier sur le pipeline :
spark.readStream.option("cloudFiles.useManagedFileEvents", "true")...
Que se passe-t-il si je n'utilise pas Auto Loader ou les Trigger aujourd'hui ?
Vous pouvez désactiver les événements de fichiers à tout moment et Databricks nettoie les ressources de notification pour vous. Databricks recommande de laisser les événements de fichier activés.
Puis-je me désinscrire des événements de fichier ?
Databricks active les événements de fichiers par default pour les nouveaux emplacements externes, car ils réduisent les coûts et améliorent les performances des charges de travail d'ingestion.
Pour créer un emplacement externe sans événements de fichier :
- Catalog Explorer
- API
- Dans l'Explorateur de catalogues, commencez à créer un nouvel emplacement externe.
- Si l'identifiant de stockage ne dispose pas des permissions d'événements de fichiers, vous verrez un avertissement de validation. Cliquez sur **Forcer la création** pour continuer.
- Après la création, vérifiez que les événements de fichier sont désactivés en sélectionnant l'emplacement et en décochant le paramètre des événements de fichier.
Définissez enable_file_events sur false dans la requête de création d'emplacement externe.
Pour désactiver les événements de fichier sur un emplacement externe existant, consultez la section Configurer les événements de fichier pour un emplacement externe.