pandas_api

Convertit le DataFrame existant en un DataFrame pandas-on-Spark.

Syntaxe

pandas_api(index_col: Optional[Union[str, List[str]]] = None)

parameter

parameter	Type	Description
index_col	str ou liste de str, facultatif	Colonne d'index de la table dans Spark.

parameter	Type	Description
index_col	str ou liste de str, facultatif	Colonne d'index de la table dans Spark.

Renvoie

PandasOnSparkDataFrame

Notes

Si un DataFrame pandas-on-Spark est converti en un DataFrame Spark, puis reconverti en pandas-on-Spark, il perdra les informations d'index et l'index original sera transformé en une colonne normale.

Ceci n'est disponible que si Pandas est installé et disponible.

Exemples

Python

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])

df.pandas_api()
#    age   name
# 0   14    Tom
# 1   23  Alice
# 2   16    Bob

df.pandas_api(index_col="age")
#       name
# age
# 14     Tom
# 23   Alice
# 16     Bob