メインコンテンツまでスキップ

toLocalIterator

このDataFrameのすべての行を含むイテレータを返します。 イテレータは、このDataFrame内の最大のパーティションと同じ量のメモリを消費します。 プリフェッチを使用すると、最大で2つの最大パーティションのメモリ容量を消費する可能性があります。

構文

toLocalIterator(prefetchPartitions: bool = False)

パラメーター

パラメーター

Type

説明

prefetchPartitions

ブール値、オプション

Spark が次のパーティションが必要になる前にプリフェッチする必要がある場合。

戻り値

イテレータ:行のイテレータ。

Python
df = spark.createDataFrame(
[(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]
このページの見出し