JSON (データフレームライター)
DataFrameの内容を JSON 形式 (JSON 行 / 改行区切り JSON) で指定されたパスに保存します。
構文
json(path, mode=None, compression=None, dateFormat=None, timestampFormat=None,
lineSep=None, encoding=None, ignoreNullFields=None)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | Hadoopがサポートするファイルシステム上のパス。 |
| 文字列、オプション | データが既に存在する場合の動作。許容される値は、 |
戻り値
なし
例
DataFrameをJSONファイルに書き込み、それを読み込む。
Python
import tempfile
with tempfile.TemporaryDirectory(prefix="json") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}]
).write.json(d, mode="overwrite")
spark.read.format("json").load(d).show()
# +---+------------+
# |age| name|
# +---+------------+
# |100|Alice|
# +---+------------+