schema_of_json

Analyse une chaîne JSON et en déduit son schéma au format DDL.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.schema_of_json(json, options=None)

parameter

parameter	Type	Description
json	pyspark.sql.Column ou str	Une chaîne JSON ou une colonne de chaîne pliable contenant une chaîne JSON.
options	dictionnaire, facultatif	Options pour contrôler l'analyse. Accepte les mêmes options que la source de données JSON.

parameter	Type	Description
json	pyspark.sql.Column ou str	Une chaîne JSON ou une colonne de chaîne pliable contenant une chaîne JSON.
options	dictionnaire, facultatif	Options pour contrôler l'analyse. Accepte les mêmes options que la source de données JSON.

Renvoie

pyspark.sql.Column: une représentation sous forme de chaîne d'un StructType analysé à partir d'un JSON donné.

Exemples

Python

import pyspark.sql.functions as sf
parsed1 = sf.schema_of_json(sf.lit('{"a": 0}'))
parsed2 = sf.schema_of_json('{a: 1}', {'allowUnquotedFieldNames':'true'})
spark.range(1).select(parsed1, parsed2).show()

Output

+------------------------+----------------------+
|schema_of_json({"a": 0})|schema_of_json({a: 1})|
+------------------------+----------------------+
|       STRUCT<a: BIGINT>|     STRUCT<a: BIGINT>|
+------------------------+----------------------+