メインコンテンツまでスキップ

フォーマット(DataStreamWriter)

基となる出力データソースを指定します。

構文

format(source)

パラメーター

パラメーター

Type

説明

source

str

データソースの名前。例えば、 'parquet'または'console'など。

戻り値

DataStreamWriter

Python
df = spark.readStream.format("rate").load()
df.writeStream.format("text")
# <...streaming.readwriter.DataStreamWriter object ...>

レートソースストリームをCSVファイルに書き込む:

Python
import tempfile
import time
with tempfile.TemporaryDirectory(prefix="format1") as d:
with tempfile.TemporaryDirectory(prefix="format2") as cp:
df = spark.readStream.format("rate").load()
q = df.writeStream.format("csv").option("checkpointLocation", cp).start(d)
time.sleep(5)
q.stop()
spark.read.schema("timestamp TIMESTAMP, value STRING").csv(d).show()
このページの見出し