registrarManipuladorDeProgresso

Registre um manipulador de progresso para ser chamado quando uma atualização de progresso for recebida do servidor.

Sintaxe

registerProgressHandler(handler)

Parâmetros

Parâmetro	Tipo	Descrição
handler	Manipulador de progresso	Um objeto chamável que segue a interface ProgressHandler . Este manipulador é chamado a cada atualização de progresso.

Parâmetro	Tipo	Descrição
handler	Manipulador de progresso	Um objeto chamável que segue a interface ProgressHandler . Este manipulador é chamado a cada atualização de progresso.

Devoluções

None

Notas

Este método só é compatível com o Spark Connect. Em uma sessão Spark normal, ocorre uma exceção.

Exemplos

Python

def progress_handler(stages, inflight_tasks, done):
    print(f"{len(stages)} Stages known, Done: {done}")

spark.registerProgressHandler(progress_handler)
res = spark.range(10).repartition(1).collect()
# 3 Stages known, Done: False
# 3 Stages known, Done: True
spark.clearProgressHandlers()