csv (DataFrameReader)

CSVファイルを読み込み、結果をDataFrameとして返します。inferSchemaが有効になっている場合、この関数は入力を一度読み込んでスキーマを決定します。これを回避するには、 inferSchema無効にするか、 schemaを使用してスキーマを明示的に指定します。

構文

csv(path, schema=None, **options)

パラメーター

パラメーター	Type	説明
path	文字列またはリスト	1つ以上の入力パス、またはCSV行を格納する文字列のRDD。
schema	構造体型またはstr（オプション）	オプションの入力スキーマは、 StructTypeオブジェクトまたは DDL 形式の文字列 (例: 'col0 INT, col1 DOUBLE' ) です。

戻り値

DataFrame

例

DataFrameをCSVファイルに書き込み、それを読み込む。

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+