Parquet (DataFrameWriter)

Salva o conteúdo de DataFrame no formato Parquet no caminho especificado.

Sintaxe

parquet(path, mode=None, partitionBy=None, compression=None)

Parâmetros

Parâmetro	Tipo	Descrição
path	str	O caminho em qualquer sistema de arquivos compatível com Hadoop.
mode	str, opcional	O comportamento quando os dados já existem. Os valores aceitos são 'append', 'overwrite', 'ignore' e 'error' ou 'errorifexists' (default).
partitionBy	str ou lista, opcional	Nomes das colunas de particionamento.
compression	str, opcional	O codec de compressão a ser usado.

Devoluções

Nenhuma

Exemplos

Escreva um DataFrame em um arquivo Parquet e leia-o de volta.

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+