Aller au contenu principal

format (DataStreamReader)

Spécifie le format de la source de données d'entrée.

Syntaxe​

format(source)

parameter​

parameter

Type

Description

source

str

Nom de la source de données, par exemple 'json' ou 'parquet'.

parameter

Type

Description

source

str

Nom de la source de données, par exemple 'json' ou 'parquet'.

Renvoie​

DataStreamReader

Exemples​

Python
spark.readStream.format("text")
# <...streaming.readwriter.DataStreamReader object ...>

Écrire un fichier texte et le lire en tant que Stream :

Python
import tempfile
import time
with tempfile.TemporaryDirectory(prefix="format") as d:
spark.createDataFrame(
[("hello",), ("this",)]).write.mode("overwrite").format("text").save(d)
q = spark.readStream.format("text").load(d).writeStream.format("console").start()
time.sleep(3)
q.stop()