Configurez et modifiez les tâches dans Lakeflow Jobs

Créez, configurez et modifiez des tâches dans un LakeFlow Job à l'aide de l'interface utilisateur Tâches et pipelines du Workspace.

Databricks gère les tâches comme des composants des Lakeflow Jobs. Un job comporte une ou plusieurs tâches. Vous créez un nouveau job dans l'interface utilisateur du Workspace en configurant la première tâche. Pour configurer un nouveau job, consultez Configurer et modifier des Lakeflow Jobs.

Chaque tâche dispose d’une ressource de compute associée qui exécute la logique de la tâche. Si vous utilisez Serverless, Databricks configure vos ressources de compute. Si vous n'utilisez pas le Serverless, consultez Configurer le compute pour les Jobs.

Databricks dispose d'autres points d'entrée et d'outils de configuration des tâches, notamment les suivants :

• Référence de l'API REST des travaux
• Databricks CLI
• Créer et gérer des jobs de notebook planifiés

Créer ou configurer une tâche

Pour modifier une tâche existante ou ajouter une nouvelle tâche avec l'interface utilisateur du Workspace, sélectionnez un Job existant en suivant les étapes suivantes :

1. Dans la barre latérale de votre workspace Databricks, cliquez sur Tâches & Pipelines .
2. Facultativement, sélectionnez les filtres **Jobs** et **Appartenant à moi**.
3. Cliquez sur le **Link** **Nom** de votre Job.
4. Cliquez sur l'onglet **tab**. Le graphe de tâches apparaît.
5. Pour modifier une tâche, cliquez sur le nom de la tâche. La configuration de la tâche apparaît sous le graphe de tâches.
6. Pour ajouter une tâche :
   • Si le Job n'a pas encore de tâches, le Graphe de tâches affiche des boutons pour les types de tâches récents. Cliquez sur le bouton correspondant à votre type de tâche ou cliquez sur Ajouter un autre type de tâche pour choisir un type différent.
   • Si le Job contient déjà une ou plusieurs tâches, cliquez sur Ajouter une tâche dans le Graphe des tâches.

Types de tâches

Les options de configuration et les instructions varient selon la tâche. Les types de tâches suivants sont disponibles :

• Notebook

• Préparation visuelle des données

• Notebook de salle blanche

• script Python

• Python wheel

• SQL

• pipeline

• pipeline de synchronisation de table de base de données

• Pipeline d'ingestion

• SQL Alert (Aperçu public)

• Tableaux de bord

• Power BI

• dbt

• plateforme dbt (préversion publique)

• JAR

• Spark Submit

• Exécuter le Job

• If/else

• Pour chaque

Cloner une tâche

Clonez les tâches pour copier toutes les configurations d'une tâche existante, y compris les dépendances en amont.

Pour cloner une tâche : procédez comme suit.

1. Sélectionnez la tâche dans le graphe des tâches.
2. Cliquez sur .
3. Spécifiez un nom de tâche clonée et cliquez sur Cloner .

Désactiver une tâche

Désactiver une tâche pour l'ignorer lors de l'exécution sans la supprimer du Job. La tâche conserve sa configuration et son historique d'exécution, vous pouvez donc la réactiver plus tard sans reconstruire la tâche.

Les scénarios courants de désactivation d'une tâche incluent les suivants :

• Exclure temporairement une tâche lors du debugging d'un problème en amont sans perdre les paramètres de la tâche.
• Mettre en pause une tâche défectueuse afin que le reste du Job continue à s’exécuter selon le calendrier.
• Garder le Graphe orienté acyclique (DAG) du job et l'historique d'exécution intacts tout en décidant s'il faut supprimer une tâche.

Pour désactiver une tâche dans un Job :

1. Ouvrez le job et sélectionnez la tâche dans le DAG.
2. Cliquez sur pour désactiver la tâche.

Pour réactiver une tâche désactivée, sélectionnez la tâche et cliquez sur .

Pour ignorer une tâche pour une seule exécution sans modifier les paramètres du Job, utilisez Exécuter un Job avec des paramètres différents à la place.

Pour savoir comment les tâches désactivées affectent les tâches en aval, les réparations et les exécutions partielles, consultez Tâches désactivées dans Lakeflow Jobs.

Supprimer une tâche

Pour supprimer une tâche, procédez comme suit :

1. Sélectionnez la tâche dans le graphe des tâches.
2. Cliquez sur et sélectionnez Supprimer la tâche .

Pour conserver la configuration et l'historique d'exécution de la tâche au lieu de la supprimer, désactivez la tâche.

Copier un chemin de tâche

Certains types de tâche, par exemple les tâches de Notebook, vous permettent de copier le chemin d'accès au code source de la tâche :

1. Cliquez sur l'onglet Tasks tab .
2. Sélectionnez la tâche contenant le chemin à copier.
3. Cliquez sur à côté du chemin de la tâche pour copier le chemin d'accès dans le presse-papiers.

Paramètres de tâche avancés

Les paramètres avancés suivants régissent les nouvelles tentatives pour les tâches échouées et les stratégies de délai d'attente pour les tâches qui ne répondent pas.

remarque

Vous pouvez définir des notifications au niveau des tâches ou des Jobs. Voir Ajouter des notifications à un job.

Définir une politique de réessai

Le paramètre default pour les nouvelles tentatives de tâche dépend de la configuration du Job. Pour la plupart des configurations, le paramètre default ne relance aucune tâche en cas d'échec de la tâche.

Les Jobs Serverless optimisent automatiquement les nouvelles tentatives par default. Voir Configurer l’optimisation automatique de compute Serverless pour interdire les nouvelles tentatives

Les jobs continus utilisent une politique de nouvelle tentative avec interruption exponentielle. Consultez la gestion des pannes pour les jobs continus.

Pour configurer une politique qui détermine quand et combien de fois les exécutions de tâche ayant échoué sont relancées, cliquez sur Ajouter à côté de Nouvelles tentatives .

L'intervalle de nouvelle tentative est calculé en millisecondes entre le start de l'exécution ayant échoué et l'exécution de nouvelle tentative ultérieure.

remarque

Si vous configurez à la fois un délai d'expiration et des nouvelles tentatives , le délai d'expiration s'applique à chaque tentative.

Configurez les threshold pour la durée d’exécution des tâches ou les métriques de backlog streaming

info

Aperçu

L’observabilité du streaming pour les Lakeflow Jobs est en Aperçu public.

Vous pouvez configurer des threshold optionnels pour la durée d'exécution des tâches ou les métriques de backlog de streaming. Pour configurer les threshold de durée ou les threshold de métriques de streaming, cliquez sur Threshold de métriques dans le panneau de configuration de la tâche.

Pour configurer les seuils de durée des tâches, y compris les délais d'achèvement prévus et maximaux pour la tâche, sélectionnez **Durée d'exécution** dans le menu déroulant **Métrique**. Saisissez une durée dans le champ **Avertissement** pour configurer le délai d'achèvement prévu de la tâche. Si l'exécution de la tâche dépasse ce threshold, un événement est déclenché. Pour configurer une durée d'exécution maximale pour une tâche, saisissez la durée maximale dans le champ **Délai d'expiration**. Si la tâche ne s'achève pas dans ce délai, Databricks définit son statut sur « Délai dépassé ».

Pour configurer un threshold pour une métrique de backlog de streaming, sélectionnez la métrique dans le menu déroulant Métrique et entrez une valeur pour le threshold. Pour en savoir plus sur les métriques spécifiques prises en charge par une source de streaming, consultez Voir les métriques pour les tâches de streaming.

Saisissez une durée dans le champ Avertissement pour configurer le temps de réalisation prévu de la tâche. Si la tâche dépasse ce threshold, un événement est triggered. Vous pouvez utiliser cet événement pour avertir lorsqu'une tâche s'exécute lentement. Voir Configurer les notifications des Jobs lents.

Pour définir un temps d'exécution maximal pour une tâche, saisissez la durée maximale dans le champ Délai d'expiration . Si la tâche ne se termine pas dans ce délai, Databricks définit son état à « Délai dépassé ».

Si un événement est Trigger parce qu'un threshold est dépassé, vous pouvez utiliser l'événement pour envoyer une notification. Consultez Configurer les notifications pour les Jobs lents.