paraPandas

Retorna o conteúdo deste DataFrame como Pandas pandas.DataFrame.

Sintaxe

toPandas()

Devoluções

pandas.DataFrame

Notas

Este método só deve ser usado se o Pandas pandas.DataFrame resultante for esperado ser pequeno, pois todos os dados são carregados na memória do driver.

O uso com spark.sql.execution.arrow.pyspark.enabled=True é experimental.

Esta opção só está disponível se o Pandas estiver instalado e disponível.

Exemplos

Python

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.toPandas()
#    age   name
# 0    2  Alice
# 1    5    Bob