charger (DataStreamReader)

Charge un flux de données à partir d'une source de données et le renvoie en tant que DataFrame.

Syntaxe

load(path=None, format=None, schema=None, **options)

parameter

parameter	Type	Description
path	str, facultatif	Chemin pour les sources de données adossées au système de fichiers.
format	str, facultatif	Format de la source de données. La valeur default est 'parquet'.
schema	StructType ou str, facultatif.	Schéma pour les données d'entrée en tant que StructType ou chaîne formatée DDL (par exemple, col0 INT, col1 DOUBLE).
**options		Toutes les autres options de chaîne.

parameter	Type	Description
path	str, facultatif	Chemin pour les sources de données adossées au système de fichiers.
format	str, facultatif	Format de la source de données. La valeur default est 'parquet'.
schema	StructType ou str, facultatif.	Schéma pour les données d'entrée en tant que StructType ou chaîne formatée DDL (par exemple, col0 INT, col1 DOUBLE).
**options		Toutes les autres options de chaîne.

Renvoie

DataFrame

Exemples

Chargez un Stream à partir d’un fichier JSON temporaire :

Python

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()