パンダへ
この DataFrame の内容を Pandas pandas.DataFrameとして返します。
構文
toPandas()
戻り値
pandas.DataFrame
注意
この方法は、結果として得られる Pandas pandas.DataFrameが小さいと予想される場合にのみ使用してください。すべてのデータはドライバのメモリにロードされます。
spark.sql.execution.arrow.pyspark.enabled=Trueとの組み合わせは実験的な機能です。
これは、Pandasがインストールされ、利用可能な場合にのみ利用できます。
例
Python
df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.toPandas()
# age name
# 0 2 Alice
# 1 5 Bob