cache

Conserve le DataFrame avec le niveau de stockage default (MEMORY_AND_DISK_DESER).

Syntaxe

cache()

Renvoie

DataFrame: DataFrame mis en cache.

Notes

Le niveau de stockage par default est passé à MEMORY_AND_DISK_DESER pour correspondre à Scala dans la version 3.0.

Les données mises en cache sont partagées entre toutes les sessions Spark du cluster.

Exemples

remarque

Databricks recommande de s’éloigner de DataFrame.cache(), car il n’est pas compatible avec l’architecture de compute serverless de Databricks. Matérialisez les résultats intermédiaires dans une table Delta à la place.

Python

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...