Chronologie des jobs
La chronologie des Jobs est un excellent point de départ pour comprendre votre pipeline ou query. Il vous donne un aperçu de ce qui s'exécutait, combien de temps chaque étape a pris et s'il y a eu des échecs en cours de route.
Comment ouvrir la chronologie des Jobs
Dans la Spark UI, cliquez sur Jobs et Event Timeline comme surligné en rouge dans la capture d'écran suivante. Vous verrez la chronologie. Cet exemple montre le driver et l'exécuteur 0 en cours d'ajout :
Ce qu'il faut rechercher
Les sections ci-dessous expliquent comment lire la chronologie des événements pour découvrir la cause possible de votre problème de performance ou de coût. Si vous remarquez l'une de ces tendances dans votre chronologie, la fin de chaque section correspondante contient un Link vers un article qui fournit des conseils.
Jobs en échec ou exécuteurs en échec
Voici un exemple de Job échoué et d'exécuteurs supprimés, indiqués par un statut rouge, dans la chronologie des événements.
Si vous constatez des jobs ou des exécuteurs défaillants, consultez Jobs ou exécuteurs défaillants supprimés.
Lacunes d'exécution
Recherchez les lacunes d'une minute ou plus, comme dans cet exemple :
Cet exemple présente plusieurs lacunes, dont quelques-unes sont mises en évidence par les flèches rouges. Si vous voyez des lacunes dans votre chronologie, sont-elles d'une minute ou plus ? De courtes lacunes sont à prévoir car le Driver coordonne le travail. Si vous avez des lacunes plus longues, se trouvent-elles au milieu d'un pipeline ? Ou bien ce cluster est-il constamment en cours d'exécution et les lacunes s'expliquent-elles par des pauses dans l'activité ? Vous pourriez être en mesure de déterminer cela en fonction de l'heure à laquelle votre charge de travail a start et s'est terminée.
Si vous voyez de longs écarts inexpliqués au milieu d'un pipeline, voir Écarts entre les Jobs Spark.
Jobs longs
La chronologie est-elle dominée par un ou plusieurs Jobs longs ? Ces Jobs longs seraient à examiner. Dans l'exemple suivant, la charge de travail a un Job beaucoup plus long que les autres. Ceci est un bon objet d'analyse.
Cliquez sur le Job le plus long pour approfondir. Pour plus d'information sur l'examen de cette étape longue, consultez Diagnostiquer un job long dans Spark.
De nombreux petits jobs
Ce que nous cherchons ici, c'est une chronologie dominée par de petits Jobs. Cela pourrait ressembler à ceci :
Remarquez toutes les petites lignes bleues. Chacun d'entre eux est un petit Job qui a pris quelques secondes ou moins.
Si votre chronologie est principalement constituée de petits jobs, consultez De nombreux petits jobs Spark.
Aucun des éléments ci-dessus
Si votre chronologie ne ressemble à aucune des options ci-dessus, l’étape suivante consiste à identifier le Job le plus long. Triez les jobs par durée et cliquez sur le Link dans la description du job le plus long :
Une fois que vous êtes sur la page du job le plus long, des informations supplémentaires sur l'analyse de cette longue étape se trouvent dans Diagnostic d'un long job Spark.