メインコンテンツまでスキップ

テキスト(DataStreamReader)

テキストファイルストリームを読み込み、スキーマがvalueという名前の文字列列で始まり、その後にパーティション化された列が続く DataFrame を返します。テキストファイルはUTF-8でエンコードする必要があります。テキスト ファイルの各行は、結果として得られるDataFrameの新しい行になります。

構文

text(path, **options)

パラメーター

パラメーター

Type

説明

path

str

テキスト入力用のパス。

戻り値

DataFrame

一時テキストファイルからストリームを読み込む:

Python
import tempfile
import time
with tempfile.TemporaryDirectory(prefix="text") as d:
spark.createDataFrame(
[("hello",), ("this",)]).write.mode("overwrite").format("text").save(d)
q = spark.readStream.text(d).writeStream.format("console").start()
time.sleep(3)
q.stop()
このページの見出し