メインコンテンツまでスキップ

進捗ハンドラを登録する

サーバーから進行状況の更新を受信したときに呼び出される進行状況ハンドラーを登録します。

構文

registerProgressHandler(handler)

パラメーター

パラメーター

Type

説明

handler

プログレスハンドラー

ProgressHandlerインターフェースに従う呼び出し可能オブジェクト。このハンドラは、進捗状況が更新されるたびに呼び出されます。

戻り値

None

注意

この方法はSpark Connectでのみサポートされています。通常の Spark セッションでは例外が発生します。

Python
def progress_handler(stages, inflight_tasks, done):
print(f"{len(stages)} Stages known, Done: {done}")

spark.registerProgressHandler(progress_handler)
res = spark.range(10).repartition(1).collect()
# 3 Stages known, Done: False
# 3 Stages known, Done: True
spark.clearProgressHandlers()