toArrow

Renvoie le contenu de ce DataFrame en tant que PyArrow pyarrow.Table.

Ajouté dans Databricks Runtime 15.3

Syntaxe

toArrow()

Renvoie

pyarrow.Table

Notes

Cette méthode ne doit être utilisée que si le PyArrow pyarrow.Table résultant est censé être petit, car toutes les données sont chargées dans la mémoire du driver.

Ceci n'est disponible que si PyArrow est installé et disponible.

Cette API est une API de développeur.

Exemples

Python

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]