API do pandas

Converte o DataFrame existente em um DataFrame do pandas-on-Spark.

Sintaxe

pandas_api(index_col: Optional[Union[str, List[str]]] = None)

Parâmetros

Parâmetro	Tipo	Descrição
index_col	string ou lista de strings, opcional	Coluna de índice de tabela no Spark.

Devoluções

PandasOnSparkDataFrame

Notas

Se um DataFrame do pandas-on-Spark for convertido para um DataFrame Spark e depois de volta para pandas-on-Spark, ele perderá as informações de índice e o índice original será transformado em uma coluna normal.

Esta opção só está disponível se o Pandas estiver instalado e disponível.

Exemplos

Python

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])

df.pandas_api()
#    age   name
# 0   14    Tom
# 1   23  Alice
# 2   16    Bob

df.pandas_api(index_col="age")
#       name
# age
# 14     Tom
# 23   Alice
# 16     Bob