não persistir

Marca o DataFrame como não persistente e remove todos os seus blocos da memória e do disco.

Sintaxe

unpersist(blocking: bool = False)

Parâmetros

Parâmetro	Tipo	Descrição
blocking	booleano	Se deve bloquear até que todos os bloqueios sejam excluídos.

Parâmetro	Tipo	Descrição
blocking	booleano	Se deve bloquear até que todos os bloqueios sejam excluídos.

Devoluções

DataFrame: DataFrame não persistido.

Notas

blocking default foi alterado para False para corresponder Scala na versão 2.0.

No compute clássico, os dados em cache são compartilhados entre todas as sessões do Spark no cluster, portanto, persistir os dados afeta todas as sessões.

No compute serverless, unpersist() marca o resultado em cache como pronto para ser recuperado e ignora blocking. Depois disso, o DataFrame e os DataFrames derivados dele não podem mais ser usados. Consulte Fazer cache de DataFrames no compute serverless.

Exemplos

Python

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]