cache

Conserve le DataFrame avec le niveau de stockage default (MEMORY_AND_DISK_DESER).

Syntaxe

cache()

Renvoie

DataFrame: DataFrame mis en cache.

Notes

Le niveau de stockage par default est passé à MEMORY_AND_DISK_DESER pour correspondre à Scala dans la version 3.0.

Sur un compute classique, les données mises en cache sont partagées entre toutes les sessions Spark du cluster.

Sur le compute serverless, cache() exécute la query immédiatement et stocke le résultat pour le reste de votre session. Seule votre session peut la lire, et le résultat ne change pas lorsque les tables source changent. Voir Mettre en cache des DataFrames sur le compute serverless.

Exemples

Python

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...