テキスト(DataStreamReader)
テキストファイルストリームを読み込み、スキーマがvalueという名前の文字列列で始まり、その後にパーティション化された列が続く DataFrame を返します。テキストファイルはUTF-8でエンコードする必要があります。テキスト ファイルの各行は、結果として得られるDataFrameの新しい行になります。
構文
text(path, **options)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | テキスト入力用のパス。 |
戻り値
DataFrame
例
一時テキストファイルからストリームを読み込む:
Python
import tempfile
import time
with tempfile.TemporaryDirectory(prefix="text") as d:
spark.createDataFrame(
[("hello",), ("this",)]).write.mode("overwrite").format("text").save(d)
q = spark.readStream.text(d).writeStream.format("console").start()
time.sleep(3)
q.stop()