Surveiller les Lakeflow Jobs

L'interface utilisateur de Databricks vous permet de visualiser les jobs auxquels vous avez accès, de parcourir l'historique des exécutions pour chaque job et d'inspecter les détails des exécutions de jobs individuels. Pour configurer les notifications pour les Jobs, consultez Ajouter des notifications à un Job.

Pour savoir comment utiliser la CLI Databricks pour afficher et exécuter des jobs, exécutez les commandes CLI databricks jobs list -h, databricks jobs get -h et databricks jobs run-now -h. Pour en savoir plus sur l'utilisation de l'API Jobs, consultez l'API Jobs.

Si vous avez accès au schéma system.lakeflow, vous pouvez également afficher et interroger les enregistrements des exécutions de Jobs et des tâches depuis votre compte. Consultez la table système de référence des jobs. Vous pouvez également joindre les tables système des jobs aux tables de facturation pour surveiller le coût des jobs sur votre compte. Voir Surveiller les coûts des Jobs et les performances avec les tables système.

Afficher les jobs et les pipelines

Pour afficher la liste des Jobs auxquels vous avez accès, cliquez sur Tâches et pipelines dans la barre latérale. La tab & pipelines de l'UI Lakeflow Jobs répertorie les informations sur tous les jobs et pipelines disponibles, tels que le créateur, le Trigger (le cas échéant) et le résultat des cinq dernières exécutions.

Pour modifier les colonnes affichées dans la liste, cliquez sur et sélectionnez ou désélectionnez les colonnes.

info

Aperçu

La liste unifiée des Jobs et pipelines est en préversion publique. Vous pouvez désactiver la fonctionnalité et revenir à l'expérience par default en désactivant Tâches et pipelines : gestion unifiée, recherche et filtrage. Consultez Gérer les aperçus Databricks pour plus d'information.

Vous pouvez filtrer les Jobs dans la liste Jobs et pipelines comme indiqué dans la capture d'écran suivante.

1. Recherche textuelle : la recherche par mots-clés est prise en charge pour les champs Nom et ID de Job. Pour rechercher une balise créée avec une clé et une valeur, vous pouvez rechercher par la clé, la valeur, ou la clé et la valeur. Par exemple, pour un tag avec la clé department et la valeur finance, vous pouvez rechercher department ou finance pour trouver les Jobs correspondants. Pour rechercher par clé et valeur, saisissez la clé et la valeur séparées par un deux-points (par exemple, department:finance).
2. **Type** : sélectionnez uniquement les Jobs, les pipelines ou tous.
3. Propriétaire : sélectionnez uniquement les jobs ou pipelines que vous possédez.
4. **Favoris** : sélectionnez tous les Jobs ou pipelines que vous avez marqués comme favoris.
5. Balises : utilisez des balises. Pour rechercher par balise, vous pouvez utiliser le menu déroulant des balises pour filtrer jusqu'à cinq balises simultanément ou utiliser directement la recherche par mot-clé.
6. Exécuter en tant que : Filtrer par jusqu'à deux valeurs run as.

Pour start un Job ou un pipeline, cliquez sur le bouton de lecture . Pour arrêter un workflow, cliquez sur le bouton d'arrêt . Pour accéder à d'autres actions, cliquez sur le menu kebab . Par exemple, vous pouvez supprimer le workflow ou accéder aux paramètres d'un pipeline à partir de ce menu.

Afficher les exécutions récentes de tous les jobs et pipelines

Vous pouvez consulter une liste des exécutions en cours et récemment terminées pour tous les Jobs et pipelines d'un Workspace qui vous sont accessibles, y compris les exécutions démarrées par des outils d'orchestration externes tels qu'Apache Airflow ou Azure Data Factory. Pour afficher la liste des exécutions récentes :

1. Cliquez sur Jobs et Pipelines dans la barre latérale.
2. Cliquez sur l'onglet Runs tab pour afficher le Graphe du nombre d'exécutions terminées et la liste des exécutions de Job et de pipeline.
3. (Facultatif) Cliquez sur Tâches ou Pipelines pour filtrer la liste par type.

La liste des exécutions comprend des options de filtrage en haut, un graphe des exécutions récemment terminées et des 5 principales erreurs, ainsi qu'une liste des exécutions récemment terminées.

Vous pouvez filtrer par :

• Nom du job ou du pipeline.
• **Tout**, **Tâches**, ou **pipelines**.
• Type de pipeline (ETL, Ingestion, MV/ST ou Database Table Sync).
• L'utilisateur Exécuter en tant que .
• ID d'exécution pour trouver une exécution spécifique.
• L'**heure de start** de l'exécution (au cours des dernières 48 heures).
• L' état de l'exécution .
• Le code d'erreur des exécutions échouées.

Les filtres s'appliquent au graphe, aux codes d'erreur et à la liste des exécutions.

remarque

Les exécutions soumises via l'endpoint runs/submit de l'API Jobs, y compris les exécutions provenant d'Apache Airflow DatabricksSubmitRunOperator, sont des exécutions uniques qui ne sont pas associées à un Job enregistré. Étant donné que ces exécutions n'ont aucun job associé, vous ne pouvez pas les trouver en filtrant sur un Nom de job. Filtrer par ID d'exécution , Exécuter en tant que , ou Start time à la place. Pour créer des jobs durables qui apparaissent dans les recherches de Nom et prennent en charge les nouvelles tentatives, créez un job puis exécutez-le plutôt que d'utiliser runs/submit.

Graphe du nombre d'exécutions terminées

Le graphe Nombre d'exécutions terminées affiche le nombre d'exécutions terminées au cours des dernières 48 heures. Par default, le graphe affiche les exécutions en échec, ignorées et réussies. Vous pouvez également filtrer le graphe pour afficher des états d'exécution spécifiques ou le restreindre à une plage horaire spécifique.

remarque

Le graphe Nombre d’exécutions terminées s’affiche uniquement lorsque vous filtrez sur Jobs ou Pipelines . Il n'est pas affiché lorsque **Tout** est sélectionné. Le graphe est affiché pour les administrateurs pour toutes les exécutions. Pour les non-administrateurs, vous devez cliquer sur « Exécuter en tant que » et sélectionner « moi » .

Les filtres situés en haut de l'onglet Exécutions s'appliquent au graphe.

Pour limiter la plage de temps affichée dans le Graphe Finished runs count, définissez une plage de temps dans le filtre. Alternativement, vous pouvez cliquer et faire glisser votre curseur dans le Graphe pour sélectionner la plage de temps. Le Graphe et le tableau des exécutions s'actualisent pour afficher uniquement les exécutions de la plage de temps définie.

Le tableau 5 principaux types d’erreurs présente une liste des types d’erreurs les plus fréquents de la plage horaire sélectionnée, ce qui vous permet de voir rapidement les causes les plus courantes des problèmes dans votre workspace.

Liste des exécutions

La tab **Runs** inclut également une table des exécutions de Job et de pipeline des 60 derniers jours. Databricks conserve l'historique d'exécution pendant 60 jours pour les Jobs et les pipelines. Par default, le tableau inclut des détails sur les exécutions échouées, ignorées et réussies.

Les filtres en haut de la Runs tab s'appliquent à la liste.

Par default, la liste des exécutions dans le tableau des exécutions affiche les éléments suivants :

• L'heure de start de l'exécution.
• Le nom du Job ou du pipeline associé à l'exécution.
• Le type ( Job ou Pipeline ) de l'exécution.
• Le nom d'utilisateur sous lequel l'exécution s'exécute.
• Ce qui a déclenché l’exécution (**Lancé**) : une planification, une requête API ou un startmanuel.
• Le temps écoulé pour un Job ou un pipeline en cours d'exécution, ou la durée d'exécution totale pour une exécution terminée. L’interface utilisateur affiche un avertissement si la durée dépasse une heure de fin prévue configurée.
• Le statut de l'exécution : En file d'attente , En attente , En cours d'exécution , Ignorée , Réussie , Réussie avec des échecs , Échouée , Délai dépassé , Annulation en cours ou Annulée .
• Tout code d'erreur avec lequel l'exécution s'est terminée.
• Tous les paramètres pour l'exécution.
• Pour arrêter un Job ou un pipeline en cours d'exécution, cliquez sur le bouton d'arrêt. Pour ouvrir les actions pour l'exécution, cliquez sur le/la (par exemple, pour arrêter une exécution active ou supprimer une exécution terminée).

Pour modifier les colonnes affichées dans la liste des exécutions, cliquez sur et sélectionnez ou désélectionnez les colonnes.

Pour afficher les détails d'exécution du Job, cliquez sur le Link dans la colonne Heure de start de l'exécution. Pour afficher les détails d'un Job ou d'un pipeline, cliquez sur le nom dans la colonne Job .

Afficher les exécutions pour un seul Job

Vous pouvez afficher une liste des exécutions en cours et récemment terminées pour un job auquel vous avez accès, y compris les exécutions start par des outils d'orchestration externes tels qu'Apache Airflow ou Azure Data Factory. Pour afficher la liste des exécutions de Job récentes :

1. Dans la barre latérale de votre workspace Databricks, cliquez sur Tâches & Pipelines .

2. Facultativement, sélectionnez les filtres **Jobs** et **Appartenant à moi**.

3. Cliquez sur le **Link** **Nom** de votre Job.

   Le tab s'affiche avec les vues matricielle et liste des exécutions actives et terminées.

La vue matricielle affiche un historique des exécutions pour le job, y compris chaque tâche de job.

La ligne **Durée totale de l'exécution** de la matrice affiche la durée totale de l'exécution et l'état de l'exécution. Pour afficher les détails de l'exécution, y compris l'heure de start, la durée et le statut, passez la souris sur la barre dans la ligne Durée totale de l'exécution .

Chaque cellule de la ligne Tâches représente une tâche et l'état correspondant de la tâche. Pour afficher les détails de chaque tâche, y compris l'heure de start, la durée, le cluster et le statut, survolez la cellule de cette tâche.

Les barres d'exécution de job et d'exécution de tâche sont codées par couleur pour indiquer l'état de l'exécution. Les exécutions réussies sont vertes. Les exécutions infructueuses sont rouges, les exécutions ignorées sont roses et l'attente du réessai est jaune. En attente, annulées ou expirées sont grises. La hauteur des barres d'exécution de job et d'exécution de tâche individuelles indique visuellement la durée de l'exécution.

Si vous avez configuré un temps d'achèvement attendu, la vue matricielle affiche un avertissement lorsque la durée d'une exécution dépasse le temps configuré.

By default, la vue de la liste des exécutions affiche les éléments suivants :

• L'heure de start de l'exécution.
• L'identifiant de l'exécution. Consultez l'URL et l'ID d'exécution du Job pour savoir comment trouver et partager l'URL d'exécution.
• Si l'exécution a été déclenchée par une planification de Job, une requête API ou si elle a été manuellement startée.
• Le temps écoulé pour un Job en cours ou la durée totale d'exécution pour un Job terminé. Un avertissement s'affiche si la durée dépasse un délai d'exécution prévu configuré.
• Le statut de l'exécution, soit **En attente**, **En cours**, **En cours d'exécution**, **Ignorée**, **Réussie**, **Réussie avec échecs**, **Échouée**, **Délai dépassé**, **Annulation en cours** ou **Annulée**.
• Le code d'erreur avec lequel l'exécution s'est terminée.
• Les paramètres d'exécution.

Les exécutions actuellement actives affichent un bouton d'arrêt. Pour arrêter toutes les exécutions actives et en attente, sélectionnez **Annuler les exécutions** ou **Annuler toutes les exécutions en attente** dans le menu déroulant.

Pour accéder aux actions spécifiques au contexte de l'exécution, cliquez sur le menu kebab (par exemple, pour arrêter une exécution active ou supprimer une exécution terminée).

Pour modifier les colonnes affichées dans la vue Liste des exécutions, cliquez sur et cochez ou décochez les colonnes.

Pour afficher les détails d’une exécution de Job, cliquez sur le Link de l’exécution dans la colonne start time de la vue de la liste des exécutions. Pour afficher les détails de la dernière exécution réussie de ce Job, cliquez sur Accéder à la dernière exécution réussie .

Databricks conserve un historique de vos exécutions de job pendant 60 jours. Si vous avez besoin de conserver les exécutions de Jobs, Databricks vous recommande d'exporter les résultats avant leur expiration. Pour plus d'informations, consultez Exporter les résultats d'exécution des jobs.

Afficher les détails d'exécution du job

La page de détails de l’exécution du job contient la sortie du job et des liens vers les logs, y compris des informations sur la réussite ou l’échec de chaque tâche de l’exécution du job. Vous pouvez accéder aux détails de l’exécution du job depuis l’onglet Runs du job.

Pour afficher les détails de l'exécution du Job à partir du tab , cliquez sur le Link de l'exécution dans la colonne Heure de start de la vue de liste des exécutions. Pour revenir à l'onglet Exécutions pour le Job, cliquez sur la valeur ID du Job .

Les jobs comportant plusieurs tâches disposent en outre d'un graphe, d'une chronologie et d'une vue de liste.

Vue graphe

Cliquez sur un nœud de tâche dans le graphe pour afficher les détails d'exécution de la tâche, notamment :

• Détails de la tâche, y compris l'exécution en tant que, la manière dont le Job a été lancé, l'heure de start, l'heure de fin, la durée et le statut.
• Le code source.
• Le cluster qui a exécuté la tâche et des Link vers son historique de query et ses logs.
• Métriques de la tâche.

Vue chronologique

Les Jobs qui contiennent plusieurs tâches disposent d'une vue chronologique pour identifier les tâches qui prennent beaucoup de temps à s'exécuter, comprendre les dépendances et les chevauchements afin d'aider au débogage et à l'optimisation de ces Jobs.

Pour les jobs Serverless, les requêtes et les profils de requêtes sont intégrés dans la vue chronologique. Cliquez sur la flèche à côté d'un nom de tâche pour afficher les déclarations de query et leurs durées, puis cliquez sur une déclaration pour accéder au profil de query correspondant. Consultez Afficher les détails des requêtes pour les exécutions de job.

Vue de liste

By default, la vue liste affiche le statut, le nom, le type, la Ressource, la durée et les dépendances. Vous pouvez ajouter et supprimer des colonnes dans cette vue.

Vous pouvez rechercher une tâche par nom, filtrer par statut ou type de tâche, et trier les tâches par statut, nom ou durée.

Cliquez sur la valeur ID du Job pour revenir à la tab Exécutions du job.

Pour voir où le temps est passé dans une exécution et ce que vous pouvez faire pour le réduire, consultez la répartition par phase. Consultez la répartition par phase de l'exécution.

Comment Databricks détermine l'état d'exécution du job

Databricks détermine si l'exécution d'un job a réussi en fonction du résultat des tâches feuilles du job. Une tâche feuille est une tâche qui n'a aucune dépendance en aval. L'exécution d'un job peut avoir l'un des résultats suivants :

• Réussi : toutes les tâches ont été exécutées avec succès.
• Réussi avec échecs : Certaines tâches ont échoué, mais toutes les tâches de nœud terminales ont réussi.
• Échec : une ou plusieurs tâches feuilles ont échoué.
• Ignorée : L'exécution du Job a été ignorée (par exemple, une tâche peut être ignorée si vous avez dépassé le nombre maximal d'exécutions simultanées pour votre Job ou votre Workspace).
• Expiration du délai : l'exécution du Job a pris trop de temps et le délai a expiré.
• Annulé : L'exécution du Job a été annulée (par exemple, un utilisateur a manuellement annulé l'exécution en cours).

Les tâches individuelles peuvent également se terminer avec un statut Disabled lorsque vous les désactivez explicitement dans les paramètres du job, ou lorsque Lakeflow Jobs les désactive pour une exécution parce qu'une tâche en amont est désactivée. Les tâches désactivées affichent un dans le coin supérieur droit du DAG. Voir Tâches désactivées dans Lakeflow Jobs.

Afficher les métriques de performance du Job

Les métriques de tâche de streaming et les métriques de performance de query serverless sont documentées avec les autres outils de performance de Job. Consultez diagnostiquer les performances des Lakeflow Jobs.

Afficher l'historique d'exécution des tâches

Pour afficher l'historique des exécutions d'une tâche, y compris les exécutions réussies et infructueuses :

1. Cliquez sur une tâche sur la page **Détails de l'exécution du Job**. La page **Détails de l'exécution de la tâche** apparaît.
2. Sélectionnez l'exécution de la tâche dans le menu déroulant de l'historique des exécutions.

Afficher l'historique d'exécution des tâches pour une tâche For each

L'accès à l'historique d'exécution d'une tâche For each est le même que pour une tâche standard de Lakeflow Jobs. Vous pouvez cliquer For each sur le nœud de tâche sur la page **Détails de l'exécution du Job** ou sur la cellule correspondante dans la vue matricielle. Cependant, contrairement à une tâche standard, les détails d'exécution d'une tâche For each sont présentés sous forme de tableau des itérations de la tâche imbriquée.

Pour afficher uniquement les itérations ayant échoué, cliquez sur Seules les itérations ayant échoué .

Pour afficher la sortie d'une itération, cliquez sur les valeurs start time ou End time de l'itération.

Afficher les informations de traçabilité pour un Job

Si Unity Catalog est activé dans votre Workspace, vous pouvez consulter les informations sur la lignée pour toutes les tables Unity Catalog dans votre workflow. Si des informations sur la lignée sont disponibles pour votre workflow, vous voyez un Link avec un nombre de tables en amont et en aval dans le volet Détails du Job pour votre Job, le volet Détails de l'exécution du Job pour une exécution de Job, ou le volet Détails de l'exécution de la tâche pour une exécution de tâche. Cliquez sur le Link pour afficher la liste des tables. Cliquez sur un tableau pour voir des informations détaillées dans l'Explorateur de catalogue.

Affichez et exécutez un Job créé avec des Declarative Automation Bundles

Vous pouvez utiliser l'interface utilisateur de Lakeflow Jobs pour afficher et exécuter les jobs déployés par Declarative Automation Bundles. Par default, ces Jobs sont en lecture seule dans l'interface utilisateur des Jobs. Pour modifier un job déployé par un bundle, modifiez le fichier de configuration du bundle et redéployez le job. L'application des modifications uniquement à la configuration du bundle garantit que les fichiers source du bundle capturent toujours la configuration actuelle du job.

Toutefois, si vous devez apporter des modifications immédiates à un Job, vous pouvez déconnecter le Job de la configuration du bundle pour activer la modification des paramètres du Job dans l'interface utilisateur. Pour déconnecter le Job, cliquez sur Déconnecter de la source . Dans la boîte de dialogue Déconnecter de la source , cliquez sur Déconnecter pour confirmer.

Les modifications que vous apportez au Job dans l’interface utilisateur ne sont pas appliquées à la configuration du bundle. Pour appliquer les modifications que vous effectuez dans l’interface utilisateur au bundle, vous devez mettre à jour manuellement la configuration du bundle. Pour reconnecter le job à la configuration du bundle, redéployez le job à l’aide du bundle.

Exporter les résultats d'exécution des jobs

Vous pouvez exporter les résultats d'exécution de Notebook et les Logs d'exécution de Job pour tous les types de Job.

Exporter les résultats d'exécution du notebook

Vous pouvez conserver les exécutions de job en exportant leurs résultats. Pour les exécutions de job de notebook, vous pouvez exporter un notebook rendu qui peut ensuite être importé dans votre espace de travail Databricks.

Pour exporter les résultats d'exécution de Notebook pour un Job à tâche unique :

1. Sur la page des détails du Job, cliquez sur le Link Afficher les détails de l’exécution dans la colonne Exécuter du tableau Exécutions terminées (60 derniers jours) .
2. Cliquez sur Exporter en HTML .

Pour exporter les résultats d'exécution du Notebook pour un Job comportant plusieurs tâches :

1. Sur la page des détails du Job, cliquez sur le Link Afficher les détails de l’exécution dans la colonne Exécuter du tableau Exécutions terminées (60 derniers jours) .
2. Cliquez sur la tâche Notebook à exporter.
3. Cliquez sur Exporter en HTML .

Exporter les Logs d'exécution de Job

Vous pouvez exporter les Logs de votre exécution de job. Vous pouvez configurer votre Job pour qu'il livre automatiquement les Logs à DBFS ou S3 lors de la configuration du compute des Jobs (voir référence de configuration du compute) ou via l'API Job. Voir l'objet new_cluster.cluster_log_conf dans le corps de la requête passé à l'opération Créer un nouveau Job (POST /jobs/create) dans l'API Jobs.