Automatisez les Job avec des planifications et des Trigger
Configurez les Lakeflow Jobs pour qu'ils se Trigger automatiquement dans l'une des situations suivantes :
- Selon une planification temporelle
- Lors de la mise à jour des tables sources
- À l'arrivée des fichiers vers un emplacement de stockage Unity Catalog
- Lors de la création ou de la mise à jour d'un modèle Unity Catalog
- En continu
Vous pouvez également Trigger des exécutions de Job manuellement ou par le biais d'outils d'orchestration externes.
Planifications et Trigger de Job
Type de Trigger | Comportement |
|---|---|
Planifiée | Trigger l'exécution d'un Job selon un calendrier horaire. Consultez Exécuter des Jobs selon un calendrier. |
Mise à jour de la table | Trigger une exécution de Job lorsque les tables sources sont mises à jour. Consultez Trigger des Job lorsque les tables sources sont mises à jour. |
Arrivée du fichier | Trigger un job run lorsqu'un nouveau fichier arrive dans un emplacement de stockage Unity Catalog surveillé. Consultez Trigger des jobs lorsque de nouveaux fichiers arrivent. |
Mise à jour du modèle | Trigger un Job run lorsqu'un modèle Unity Catalog est créé, une version de modèle est prête ou un alias de modèle est défini (Bêta). Voir Trigger jobs lorsque des modèles sont mis à jour. |
Continu | Pour que le Job reste toujours en cours d'exécution, Trigger une autre exécution de Job chaque fois qu'une exécution de Job se termine ou échoue. Consultez Exécuter les Jobs en continu. |
Aucun (manuel) | Les exécutions sont déclenchées manuellement avec le bouton Exécuter maintenant ou par programme à l'aide d'autres outils d'orchestration. Consultez Trigger l'exécution d'un seul Job |
Par default, une seule exécution d'un Job peut être active à la fois. Cependant, il est possible d'augmenter cette limite dans les paramètres avancés. Les exécutions sont ignorées lorsqu'elles dépassent la concurrence maximale configurée pour un Job. Voir Configurer le nombre maximal d'exécutions simultanées.
Configurer un Trigger sur un Job
-
Ouvrez le Job pour lequel vous souhaitez configurer un Trigger.
-
Dans le volet Détails du Job , faites défiler jusqu'à la section Planifications & Triggers , puis cliquez sur Ajouter un Trigger .
-
Dans **Planifications & Triggers**, sélectionnez le type de trigger que vous souhaitez configurer : **Planifié**, **Mise à jour de table**, **Arrivée de fichier**, **Mise à jour de modèle** ou **Continu**.
En fonction du type de trigger, d'autres options sont également disponibles pour la configuration.
-
Cliquez sur Enregistrer . Après avoir enregistré, le Job s'exécute automatiquement en fonction du trigger configuré.
Si une ou plusieurs tâches d'un Job comportant plusieurs tâches échouent, vous pouvez relancer le sous-ensemble de tâches échouées. Voir Réexécuter les tâches échouées et ignorées.
Ajouter plusieurs Trigger à un Job
Bêta
La prise en charge de plusieurs Trigger dans Lakeflow Jobs est en version Beta. Les administrateurs du Workspace peuvent contrôler l'accès à la fonctionnalité depuis la page Previews du Workspace à l'aide du paramètre Multiple Trigger . Consultez Gérer les aperçus Databricks.
Pendant la bêta des Trigger multiples, un Job peut avoir jusqu’à cinq Trigger.
Vous pouvez ajouter plusieurs Trigger de types identiques ou différents à un Job. Lorsqu’un trigger actif s’évalue à vrai, il start une exécution. Par exemple, vous pouvez utiliser un trigger de mise à jour de table pour start une exécution de job lorsque les données sont prêtes, et ajouter un trigger planifié supplémentaire en guise de sauvegarde. Vous pouvez également utiliser plusieurs Trigger d’arrivée de fichiers pour surveiller différents emplacements de stockage.
Chaque trigger peut être mis en pause et repris indépendamment. Un trigger continu ne peut pas être combiné avec un autre trigger car le job s'exécute déjà en continu.
Pour ajouter plusieurs Trigger, suivez les étapes de la section Configurer un Trigger sur un Job pour chaque Trigger. Cliquez sur Add trigger dans la section Schedules & Triggers pour ajouter un autre déclencheur.
Pour configurer plusieurs Trigger avec l'API Jobs 2.1 ou version ultérieure, utilisez le tableau triggers dans JobSettings. Ne définissez pas triggers dans la même requête que les champs hérités schedule, trigger ou continuous. Si vous mettez à jour triggers, l'ensemble du tableau est remplacé. Consultez l'API Jobs et la référence Bundles job.triggers.
Gérer les Trigger existants
Pour modifier, suspendre, reprendre ou supprimer un trigger, utilisez la section Schedules & Triggers du volet Job details . Chaque trigger dispose de contrôles indépendants. Ces contrôles apparaissent uniquement pour les jobs qui disposent d’un trigger configuré.
- Pour modifier le trigger, cliquez sur Modifier le trigger .
- Pour mettre en pause un trigger actif, cliquez sur Suspendre . Toutes les exécutions actuellement actives continuent, mais le Trigger ne start plus de nouvelles exécutions. Pour reprendre le trigger, cliquez sur Reprendre . Le comportement configuré reprend selon le même calendrier précédemment configuré.
- Pour supprimer le trigger du job, cliquez sur Supprimer .
Lors de la création ou de la modification d'un Trigger, vous pouvez également basculer entre Actif et En pause dans la boîte de dialogue Planifications et déclencheurs pour contrôler l' État du Trigger .
Si une exécution est active lorsqu'un Trigger continu est repris, le planificateur de Jobs attend que cette exécution soit terminée pour déclencher une nouvelle exécution.
Limitations
Les limites suivantes s'appliquent aux Trigger de Job :
- Un Workspace peut contenir jusqu'à 12 000 Trigger actifs pour l'ensemble des Job et types de Trigger. Les Trigger en pause ne sont pas pris en compte dans cette limite. Cette limite s'applique que l'aperçu Multiple Trigger soit activé ou non.