フォーマット(DataStreamWriter)
基となる出力データソースを指定します。
構文
format(source)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | データソースの名前。例えば、 |
戻り値
DataStreamWriter
例
Python
df = spark.readStream.format("rate").load()
df.writeStream.format("text")
# <...streaming.readwriter.DataStreamWriter object ...>
レートソースストリームをCSVファイルに書き込む:
Python
import tempfile
import time
with tempfile.TemporaryDirectory(prefix="format1") as d:
with tempfile.TemporaryDirectory(prefix="format2") as cp:
df = spark.readStream.format("rate").load()
q = df.writeStream.format("csv").option("checkpointLocation", cp).start(d)
time.sleep(5)
q.stop()
spark.read.schema("timestamp TIMESTAMP, value STRING").csv(d).show()