CSVのスキーマ
CSV 文字列を解析し、そのスキーマを DDL 形式で推測します。
構文
Python
from pyspark.sql import functions as sf
sf.schema_of_csv(csv, options=None)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
|
| CSV 文字列または CSV 文字列を含む折りたたみ可能な文字列列。 |
| 辞書（オプション） | 解析を制御するためのオプション。CSV データソースと同じオプションを受け入れます。 |
戻り値
pyspark.sql.Column: 指定された CSV から解析されたStructTypeの文字列表現。
例
例 1 : 異なるデータ型のCSV文字列のスキーマを推測する
Python
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1|a|true'), {'sep':'|'})).show(truncate=False)
Output
+-------------------------------------------+
|schema_of_csv(1|a|true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
例2 : 欠損値を持つCSV文字列のスキーマを推論する
Python
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1||true'), {'sep':'|'})).show(truncate=False)
Output
+-------------------------------------------+
|schema_of_csv(1||true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
例 3 : 異なる区切り文字を使用したCSV文字列のスキーマの推測
Python
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1;a;true'), {'sep':';'})).show(truncate=False)
Output
+-------------------------------------------+
|schema_of_csv(1;a;true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
例 4 : フィールドを引用符で囲んだCSV文字列のスキーマの推測
Python
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('"1","a","true"'), {'sep':','})).show(truncate=False)
Output
+-------------------------------------------+
|schema_of_csv("1","a","true") |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+