cache

Persiste o DataFrame com o nível de armazenamento default (MEMORY_AND_DISK_DESER).

Sintaxe

cache()

Devoluções

DataFrame: DataFrame em cache.

Notas

O nível de armazenamento default foi alterado para MEMORY_AND_DISK_DESER para corresponder Scala na versão 3.0.

No compute clássico, os dados em cache são compartilhados entre todas as sessões do Spark no cluster.

No compute Serverless, cache() realiza a execução da query imediatamente e armazena o resultado pelo resto da sua sessão. Apenas sua sessão pode lê-lo, e o resultado não muda quando as tabelas de origem são alteradas. Consulte Cache DataFrames em compute serverless.

Exemplos

Python

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...