dépersistifier

Marque le DataFrame comme non persistant et supprime tous les blocs le concernant de la mémoire et du disque.

Syntaxe

unpersist(blocking: bool = False)

parameter

parameter	Type	Description
blocking	booléen	Bloquer jusqu'à ce que tous les blocs soient supprimés.

parameter	Type	Description
blocking	booléen	Bloquer jusqu'à ce que tous les blocs soient supprimés.

Renvoie

DataFrame: DataFrame non persisté.

Notes

blocking default a été remplacé par False pour correspondre à Scala dans 2.0.

Les données mises en cache sont partagées entre toutes les sessions Spark sur le cluster, donc le fait de ne pas les persister affecte toutes les sessions.

Exemples

Python

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]