Automatisez les Job avec des planifications et des Trigger
Configurez les Lakeflow Jobs pour qu'ils se Trigger automatiquement dans l'une des situations suivantes :
- Selon une planification temporelle
- Lors de la mise à jour des tables sources
- À l'arrivée des fichiers vers un emplacement de stockage Unity Catalog
- Lors de la création ou de la mise à jour d'un modèle Unity Catalog
- En continu
Vous pouvez également Trigger des exécutions de Job manuellement ou par le biais d'outils d'orchestration externes.
Planifications et Trigger de Job
Type de Trigger | Comportement |
|---|---|
Planifiée | Trigger l'exécution d'un Job selon un calendrier horaire. Consultez Exécuter des Jobs selon un calendrier. |
Mise à jour de la table | Trigger une exécution de Job lorsque les tables sources sont mises à jour. Consultez Trigger des Job lorsque les tables sources sont mises à jour. |
Arrivée du fichier | Trigger un job run lorsqu'un nouveau fichier arrive dans un emplacement de stockage Unity Catalog surveillé. Consultez Trigger des jobs lorsque de nouveaux fichiers arrivent. |
Mise à jour du modèle | Trigger un Job run lorsqu'un modèle Unity Catalog est créé, une version de modèle est prête ou un alias de modèle est défini (Bêta). Voir Trigger jobs lorsque des modèles sont mis à jour. |
Continu | Pour que le Job reste toujours en cours d'exécution, Trigger une autre exécution de Job chaque fois qu'une exécution de Job se termine ou échoue. Consultez Exécuter les Jobs en continu. |
Aucun (manuel) | Les exécutions sont déclenchées manuellement avec le bouton Exécuter maintenant ou par programme à l'aide d'autres outils d'orchestration. Consultez Trigger l'exécution d'un seul Job |
Par default, une seule exécution d'un Job peut être active à la fois. Cependant, il est possible d'augmenter cette limite dans les paramètres avancés. Les exécutions sont ignorées lorsqu'elles dépassent la concurrence maximale configurée pour un Job. Voir Configurer le nombre maximal d'exécutions simultanées.
Configurer un Trigger sur un Job
-
Ouvrez le Job pour lequel vous souhaitez configurer un Trigger.
-
Dans le volet Détails du Job , faites défiler jusqu'à la section Planifications & Triggers , puis cliquez sur Ajouter un Trigger .
-
Dans **Planifications & Triggers**, sélectionnez le type de trigger que vous souhaitez configurer : **Planifié**, **Mise à jour de table**, **Arrivée de fichier**, **Mise à jour de modèle** ou **Continu**.
En fonction du type de trigger, d'autres options sont également disponibles pour la configuration.
-
Cliquez sur Enregistrer . Après avoir enregistré, le Job s'exécute automatiquement en fonction du trigger configuré.
Si une ou plusieurs tâches d'un Job comportant plusieurs tâches échouent, vous pouvez relancer le sous-ensemble de tâches échouées. Voir Réexécuter les tâches échouées et ignorées.
Gérer un Trigger existant
Pour modifier, suspendre, reprendre ou supprimer un Trigger, utilisez la section Plannings et Triggers du volet Détails du Job . Ces contrôles apparaissent uniquement pour les Jobs pour lesquels un Trigger est configuré.
- Pour modifier le trigger, cliquez sur Modifier le trigger .
- Pour suspendre un trigger actif, cliquez sur Suspendre . Toutes les exécutions actuellement actives se poursuivent, mais le trigger ne start plus de nouvelles exécutions. Pour reprendre le trigger, cliquez sur Reprendre ; le comportement configuré reprend selon le même calendrier précédemment configuré.
- Pour supprimer le trigger du job, cliquez sur Supprimer .
Lors de la création ou de la modification d'un Trigger, vous pouvez également basculer entre Actif et En pause dans la boîte de dialogue Planifications et déclencheurs pour contrôler l' État du Trigger .
Si une exécution est active lorsqu'un Trigger continu est repris, le planificateur de Jobs attend que cette exécution soit terminée pour déclencher une nouvelle exécution.