Diagnostiquer les problèmes de coût et de performance à l'aide de l'interface utilisateur Spark

Lorsqu’un pipeline ou une query s’exécute plus longtemps ou coûte plus cher que prévu, la cause est souvent difficile à voir à partir du code seul. La Spark UI affiche ce que le cluster a réellement fait : quels jobs ont été exécutés, combien de temps chaque étape a pris, quelle quantité de données a été déplacée et où les tâches ont échoué. Ce guide décrit les modèles de la Spark UI et explique quelle page lire ensuite pour chaque modèle. Si vous n'êtes pas familiarisé avec les concepts de Driver, de Worker, d'exécuteurs, d'étapes et de tâches, examinez l'architecture Spark avant de start.

Quand utiliser ce guide

Utilisez ce guide lorsqu’une charge de travail exécutée sur un cluster présente l’un des symptômes suivants :

• Un job, un pipeline ou une query prend plus de temps que prévu ou plus de temps qu’auparavant.
• Une charge de travail coûte plus cher que prévu compte tenu de la quantité de données qu'elle traite.
• Des jobs ou des exécuteurs échouent, et le message d'erreur n'indique pas la cause.

Utilisation de ce guide

start avec la chronologie des Job. La chronologie montre la forme globale de la charge de travail, et chaque modèle renvoie à la page qui diagnostique ce modèle. Suivez les Link à la fin de chaque page pour parcourir le guide. Pour diagnostiquer une charge de travail lente, suivez ces étapes dans l'ordre :

1. Utilisez la chronologie des jobs pour identifier les problèmes majeurs
2. Regardez l'étape la plus longue.
3. Rechercher une asymétrie ou un spill
4. Déterminer si l'étape la plus longue est liée aux E/S
5. Rechercher d'autres causes de ralentissement de l'exécution de l'étape

Si la chronologie des jobs montre des jobs en échec, de longs écarts entre les jobs ou de nombreux petits jobs, ignorez les étapes restantes et suivez le Link sur la page de la chronologie vers la page de ce modèle.

Comment ouvrir la Spark UI

1. Accédez à la page de votre cluster :

   

2. Click Spark UI :

   

Étape suivante

Ensuite, examinez la chronologie des événements pour en savoir plus sur votre pipeline ou votre query. Voir Chronologie des tâches.