ponto de verificação local

Retorna uma versão localmente salva deste DataFrame. O recurso de checkpointing pode ser usado para truncar o plano lógico deste DataFrame, o que é especialmente útil em algoritmos iterativos onde o plano pode crescer exponencialmente. Os pontos de verificação locais são armazenados no executor usando o subsistema de cache e, portanto, não são confiáveis.

Sintaxe

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parâmetros

Parâmetro	Tipo	Descrição
eager	booleano, opcional, default Verdadeiro	Indica se este DataFrame deve ser imediatamente salvo em um ponto de verificação.
storageLevel	Nível de armazenamento, opcional, default Nenhum	O nível de armazenamento (StorageLevel) com o qual o ponto de verificação será armazenado. Caso não seja especificado, default será o uso de pontos de verificação locais RDD .

Devoluções

DataFrame: DataFrame com ponto de verificação.

Notas

Esta API é experimental.

Exemplos

Python

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]