保存

DataFrameの内容をデータソースに保存します。データソースはformatとoptionsのセットによって指定されます。formatが指定されていない場合、 spark.sql.sources.defaultで設定されたデフォルトのデータソースが使用されます。

構文

save(path=None, format=None, mode=None, partitionBy=None, **options)

パラメーター

パラメーター	Type	説明
path	文字列、オプション	Hadoopがサポートするファイルシステムにおけるパス。
format	文字列、オプション	保存に使用されるフォーマット。
mode	文字列、オプション	データが既に存在する場合の動作。許容される値は、 'append' 、 'overwrite' 、 'ignore' 、 'error'または'errorifexists' （デフォルト値）です。
partitionBy	リスト（オプション）	パーティショニング列の名前。
**options	辞書	その他の文字列オプション。

戻り値

なし

例

DataFrameをJSONファイルに書き込み、それを読み込む。

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="save") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.mode("overwrite").format("json").save(d)

    spark.read.format('json').load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+