Aller au contenu principal
Dernière mise à jour le

Diagnostic d'un long Job dans Spark

Start par identifier l’étape la plus longue du Job. Faites défiler jusqu’au bas de la page du job jusqu’à la liste des étapes et classez-les par durée :

Longue étape

Détails des E/S de la phase​

Pour afficher des données de haut niveau sur les activités de cette étape, examinez les colonnes Input , Output , Shuffle Read et Shuffle Write :

Longues E/S de phase

Les colonnes signifient ce qui suit :

  • Entrée : Quantité de données lue par cette étape à partir du stockage. Cela pourrait être une lecture de Delta, Parquet, CSV, etc.
  • **Sortie :** Quantité de données que cette étape a écrites dans le stockage. Cela pourrait être une écriture vers Delta, Parquet, CSV, etc.
  • Lecture aléatoire : Quantité de données de lecture aléatoire lues par cette étape.
  • Écriture aléatoire : quantité de données de brassage écrites par cette étape.

Si vous n'êtes pas familier avec ce qu'est le shuffle, c'est le bon moment pour en savoir plus sur ce que cela signifie.

Notez ces nombres, car vous en aurez probablement besoin plus tard.

Nombre de tâches​

Le nombre de tâches dans la longue étape peut vous orienter vers la résolution de votre problème. Déterminez le nombre de tâches en regardant ici :

Détermination du nombre de tâches

Si vous voyez une tâche, cela pourrait être le signe d'un problème. Pour plus d'informations, consultez une tâche Spark.

Afficher plus de détails sur l'étape​

Si la phase contient plus d'une tâche, nous vous recommandons d'approfondir les recherches. Cliquez sur le Link dans la description de l'étape pour obtenir plus d'informations sur l'étape la plus longue :

Ouvrir les informations de l'étape

Maintenant que vous êtes sur la page de l'étape, consultez Skew and spill.

Sur cette page