jsonのスキーマ

JSON 文字列を解析し、そのスキーマを DDL 形式で推測します。

構文

Python

from pyspark.sql import functions as sf

sf.schema_of_json(json, options=None)

パラメーター

パラメーター	Type	説明
json	pyspark.sql.Column または文字列	JSON 文字列または JSON 文字列を含む折りたたみ可能な文字列列。
options	辞書（オプション）	解析を制御するためのオプション。JSON データソースと同じオプションを受け入れます。

パラメーター	Type	説明
json	pyspark.sql.Column または文字列	JSON 文字列または JSON 文字列を含む折りたたみ可能な文字列列。
options	辞書（オプション）	解析を制御するためのオプション。JSON データソースと同じオプションを受け入れます。

戻り値

pyspark.sql.Column: 指定された JSON から解析されたStructTypeの文字列表現。

例

Python

import pyspark.sql.functions as sf
parsed1 = sf.schema_of_json(sf.lit('{"a": 0}'))
parsed2 = sf.schema_of_json('{a: 1}', {'allowUnquotedFieldNames':'true'})
spark.range(1).select(parsed1, parsed2).show()

Output

+------------------------+----------------------+
|schema_of_json({"a": 0})|schema_of_json({a: 1})|
+------------------------+----------------------+
|       STRUCT<a: BIGINT>|     STRUCT<a: BIGINT>|
+------------------------+----------------------+