toLocalIterator
Renvoie un itérateur qui contient toutes les lignes de ce DataFrame. L'itérateur consommera autant de mémoire que la plus grande partition de ce DataFrame. Avec le préchargement, il peut consommer jusqu'à la mémoire des 2 plus grandes partitions.
Syntaxe
toLocalIterator(prefetchPartitions: bool = False)
parameter
parameter | Type | Description |
|---|---|---|
| bool, facultatif | Si Spark doit pré-extraire la partition suivante avant qu'elle ne soit nécessaire. |
Renvoie
Itérateur : itérateur de lignes.
Exemples
Python
df = spark.createDataFrame(
[(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]