Parquet (DataStreamReader)

Charge un stream de fichiers Parquet et renvoie le résultat sous forme de DataFrame.

Syntaxe

parquet(path, **options)

parameter

parameter	Type	Description
path	str	Chemin dans un système de fichiers compatible avec Hadoop.

parameter	Type	Description
path	str	Chemin dans un système de fichiers compatible avec Hadoop.

Renvoie

DataFrame

Exemples

Chargez un Stream à partir d'un fichier Parquet temporaire :

Python

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.range(10).write.mode("overwrite").format("parquet").save(d)
    q = spark.readStream.schema(
        "id LONG").parquet(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()