format (DataStreamWriter)

Spécifie la source de données de sortie sous-jacente.

Syntaxe

format(source)

parameter

parameter	Type	Description
source	str	Nom de la source de données, par exemple 'parquet' ou 'console'.

parameter	Type	Description
source	str	Nom de la source de données, par exemple 'parquet' ou 'console'.

Renvoie

DataStreamWriter

Exemples

Python

df = spark.readStream.format("rate").load()
df.writeStream.format("text")
# <...streaming.readwriter.DataStreamWriter object ...>

Écrire un Stream source de débit vers CSV :

Python

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="format1") as d:
    with tempfile.TemporaryDirectory(prefix="format2") as cp:
        df = spark.readStream.format("rate").load()
        q = df.writeStream.format("csv").option("checkpointLocation", cp).start(d)
        time.sleep(5)
        q.stop()
        spark.read.schema("timestamp TIMESTAMP, value STRING").csv(d).show()