Parquet (DataStreamReader)

Carrega uma transmissão de arquivo Parquet e retorna o resultado como um DataFrame.

Sintaxe

parquet(path, **options)

Parâmetros

Parâmetro	Tipo	Descrição
path	str	Caminho em qualquer sistema de arquivos compatível com Hadoop.

Parâmetro	Tipo	Descrição
path	str	Caminho em qualquer sistema de arquivos compatível com Hadoop.

Devoluções

DataFrame

Exemplos

Carregue uma transmissão de um arquivo Parquet temporário:

Python

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.range(10).write.mode("overwrite").format("parquet").save(d)
    q = spark.readStream.schema(
        "id LONG").parquet(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()