テキスト（DataFrameReader）

テキストファイルを読み込み、 DataFrameを返します。このスキーマは、 valueという名前の文字列列で始まり、パーティション列が存在する場合はそれに続きます。テキストファイルはUTF-8でエンコードする必要があります。もちろん、テキスト ファイルの各行は、結果として得られるDataFrameの新しい行になります。

構文

text(paths, wholetext=False, lineSep=None, **options)

パラメーター

パラメーター	Type	説明
paths	文字列またはリスト	1つ以上の入力パス。
wholetext	ブール値、オプション	Trueの場合、各ファイルを1行として読み込む。デフォルトはFalseです。
lineSep	文字列、オプション	使用する行区切り文字。デフォルトは'\n' 、 '\r' 、または'\r\n'です。

パラメーター	Type	説明
paths	文字列またはリスト	1つ以上の入力パス。
wholetext	ブール値、オプション	Trueの場合、各ファイルを1行として読み込む。デフォルトはFalseです。
lineSep	文字列、オプション	使用する行区切り文字。デフォルトは'\n' 、 '\r' 、または'\r\n'です。

戻り値

DataFrame

例

DataFrameをテキストファイルに書き込み、それを読み込む。

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+