para cada partição
Aplica a função f a cada partição deste DataFrame.
Sintaxe
foreachPartition(f: Callable[[Iterator[Row]], None])
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| função | Uma função que aceita um parâmetro, o qual receberá cada partição a ser processada. |
Exemplos
Python
df = spark.createDataFrame(
[(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
def func(itr):
for person in itr:
print(person.name)
df.foreachPartition(func)