não persistir

Marca o DataFrame como não persistente e remove todos os seus blocos da memória e do disco.

Sintaxe

unpersist(blocking: bool = False)

Parâmetros

Parâmetro	Tipo	Descrição
blocking	booleano	Se deve bloquear até que todos os bloqueios sejam excluídos.

Parâmetro	Tipo	Descrição
blocking	booleano	Se deve bloquear até que todos os bloqueios sejam excluídos.

Devoluções

DataFrame: DataFrame não persistido.

Notas

blocking default foi alterado para False para corresponder Scala na versão 2.0.

Os dados em cache são compartilhados entre todas as sessões do Spark no cluster, portanto, remover esses dados da persistência afeta todas as sessões.

Exemplos

Python

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]