Pular para o conteúdo principal

ponto de verificação

Retorna uma versão com ponto de verificação (checkpoint) deste DataFrame. O recurso de checkpointing pode ser usado para truncar o plano lógico deste DataFrame, o que é especialmente útil em algoritmos iterativos onde o plano pode crescer exponencialmente. Será salvo em arquivos dentro do diretório de ponto de verificação definido com a configuração SparkContext.setCheckpointDir ou spark.checkpoint.dir .

Sintaxe

checkpoint(eager: bool = True)

Parâmetros

Parâmetro

Tipo

Descrição

eager

booleano, opcional, default Verdadeiro

Indica se este DataFrame deve ser imediatamente salvo em um ponto de verificação.

Devoluções

DataFrame: DataFrame com ponto de verificação.

Notas

Esta API é experimental.

Exemplos

Python
df = spark.createDataFrame([
(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]