point de contrôle local

Renvoie une version localement checkpointée de ce DataFrame. Le checkpointing peut être utilisé pour tronquer le plan logique de ce DataFrame, ce qui est particulièrement utile dans les algorithmes itératifs où le plan peut croître de manière exponentielle. Les points de contrôle locaux sont stockés dans les exécuteurs à l'aide du sous-système de mise en cache et ne sont donc pas fiables.

Syntaxe

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

parameter

parameter	Type	Description
eager	bool, facultatif, default True	Indique s'il faut effectuer un point de contrôle de ce DataFrame immédiatement.
storageLevel	StorageLevel, facultatif, default : Aucun	Le StorageLevel avec lequel le point de contrôle sera stocké. Si non spécifié, la valeur par default pour les points de contrôle locaux RDD.

parameter	Type	Description
eager	bool, facultatif, default True	Indique s'il faut effectuer un point de contrôle de ce DataFrame immédiatement.
storageLevel	StorageLevel, facultatif, default : Aucun	Le StorageLevel avec lequel le point de contrôle sera stocké. Si non spécifié, la valeur par default pour les points de contrôle locaux RDD.

Renvoie

DataFrame: DataFrame pointé.

Notes

Cette API est expérimentale.

Exemples

Python

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]