registerProgressHandler

Enregistre un gestionnaire de progression à appeler lorsqu'une mise à jour de progression est reçue du serveur.

Syntaxe

registerProgressHandler(handler)

parameter

parameter	Type	Description
handler	ProgressHandler	Un appelable qui suit l'interface ProgressHandler. Ce gestionnaire est appelé à chaque mise à jour de la progression.

parameter	Type	Description
handler	ProgressHandler	Un appelable qui suit l'interface ProgressHandler. Ce gestionnaire est appelé à chaque mise à jour de la progression.

Renvoie

None

Notes

Cette méthode n'est prise en charge qu'avec Spark Connect. Avec une session Spark normale, elle lève une exception.

Exemples

Python

def progress_handler(stages, inflight_tasks, done):
    print(f"{len(stages)} Stages known, Done: {done}")

spark.registerProgressHandler(progress_handler)
res = spark.range(10).repartition(1).collect()
# 3 Stages known, Done: False
# 3 Stages known, Done: True
spark.clearProgressHandlers()