dépersistifier

Marque le DataFrame comme non persistant et supprime tous les blocs le concernant de la mémoire et du disque.

Syntaxe

unpersist(blocking: bool = False)

parameter

parameter	Type	Description
blocking	booléen	Bloquer jusqu'à ce que tous les blocs soient supprimés.

parameter	Type	Description
blocking	booléen	Bloquer jusqu'à ce que tous les blocs soient supprimés.

Renvoie

DataFrame: DataFrame non persisté.

Notes

blocking default a été remplacé par False pour correspondre à Scala dans 2.0.

Sur le compute classique, les données en cache sont partagées entre toutes les sessions Spark du cluster. Par conséquent, leur suppression affecte toutes les sessions.

Sur un compute serverless, unpersist() marque le résultat mis en cache comme prêt à être récupéré et ignore blocking. Après cela, le DataFrame et les DataFrames dérivés de celui-ci ne peuvent plus être utilisés. Voir Mise en cache des DataFrames sur un compute serverless.

Exemples

Python

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]