JSON （データフレームリーダー）

JSONファイルを読み込み、結果をDataFrameとして返します。JSON行（改行区切りJSON）はデフォルトでサポートされています。ファイルごとにレコードが 1 つだけの JSON の場合は、 multiLineオプションをTrueに設定します。

schemaが指定されていない場合、この関数は入力スキーマを決定するために一度入力を読み込みます。

構文

json(path, schema=None, **options)

パラメーター

パラメーター	Type	説明
path	文字列、リスト、またはRDD	JSONデータセットへのパス、パスのリスト、またはJSONオブジェクトを格納する文字列のRDD 。
schema	構造体型またはstr（オプション）	オプションの入力スキーマは、 StructTypeオブジェクトまたは DDL 形式の文字列 (例: 'col0 INT, col1 DOUBLE' ) です。

戻り値

DataFrame

例

DataFrameをJSONファイルに書き込み、それを読み込む。

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Hyukjin"}]
    ).write.mode("overwrite").format("json").save(d)

    spark.read.json(d).show()
    # +---+-------+
    # |age|   name|
    # +---+-------+
    # |100|Hyukjin|
    # +---+-------+

複数のディレクトリからread.json 。

Python

from tempfile import TemporaryDirectory
with TemporaryDirectory(prefix="json2") as d1, TemporaryDirectory(prefix="json3") as d2:
    spark.createDataFrame(
        [{"age": 30, "name": "Bob"}]
    ).write.mode("overwrite").format("json").save(d1)
    spark.createDataFrame(
        [{"age": 25, "name": "Alice"}]
    ).write.mode("overwrite").format("json").save(d2)

    spark.read.json([d1, d2]).show()
    # +---+-----+
    # |age| name|
    # +---+-----+
    # | 25|Alice|
    # | 30|  Bob|
    # +---+-----+

カスタムスキーマを使用したread.json 。

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
       [{"age": 30, "name": "Bob"}]
    ).write.mode("overwrite").format("json").save(d)
    spark.read.json(d, schema="name STRING, age INT").show()
    # +----+---+
    # |name|age|
    # +----+---+
    # | Bob| 30|
    # +----+---+