foreachPartition

Applique la fonction f à chaque partition de ce DataFrame.

Syntaxe

foreachPartition(f: Callable[[Iterator[Row]], None])

parameter

parameter	Type	Description
f	fonction	Une fonction qui accepte un paramètre qui recevra chaque partition à traiter.

parameter	Type	Description
f	fonction	Une fonction qui accepte un paramètre qui recevra chaque partition à traiter.

Exemples

Python

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
def func(itr):
    for person in itr:
        print(person.name)

df.foreachPartition(func)