Jobs avec un grand nombre de tâches
Vous pouvez créer des Jobs qui contiennent jusqu'à 1 000 tâches. Les rubriques suivantes décrivent comment résoudre des problèmes spécifiques qui peuvent survenir avec les Jobs de grande taille comportant plus de 100 tâches.
Obtenez une erreur indiquant que seulement 100 tâches sont autorisées
Si vous recevez une erreur comme Resources with more than 100 tasks can only be handled by API 2.2 and above. Your resource has 200 tasks, vous devez mettre à jour votre Databricks SDK ou votre Databricks CLI.
Voici les versions minimales du SDK requises, par langage :
Langage SDK | Version |
|---|---|
Aller | 0.60.0 |
Python | 0.45.0 |
Java | 0.42.0 |
Pour des information sur l’utilisation et la mise à niveau des SDK, consultez Databricks SDKs.
Votre CLI Databricks doit être au moins la version 0,244.0. Pour obtenir des informations sur l'installation et la mise à jour de la CLI Databricks, consultez Installer ou mettre à jour la CLI Databricks.
Obtenez une erreur indiquant que seuls 150 contextes d'exécution sont autorisés.
Si vous recevez une erreur comme Too many execution contexts are open right now. (Limit set to 150), cela signifie que votre job tente d'exécuter trop de tâches sur un seul cluster de compute. Vous devez répartir les tâches entre plusieurs clusters. Pour plus d'informations, consultez Configurer le compute pour les jobs.
La vue matricielle pour les exécutions de Jobs ralentit ou n'affiche pas les tâches individuelles.
Si vous visualisez un grand nombre de tâches dans la vue matricielle, par exemple, un job avec 500 tâches, en visualisant 100 exécutions de jobs, l'interface utilisateur peut ralentir. Dans les cas extrêmes, la vue peut afficher uniquement le résumé de chaque job, plutôt que les détails par tâche.
Vous pouvez filtrer vos vues sur une période plus courte pour voir un plus petit nombre de tâches à la fois. Cela peut améliorer la vitesse et permettre à la vue d'afficher les détails de toutes les tâches.
Pour plus d'informations sur la vue matricielle, consultez Afficher les exécutions pour un seul job.