オプション(DataFrameReader)
基となるデータソースへの入力オプションを追加します。
利用可能なオプションについては、 DataFrameReader のオプションを参照してください。
構文
option(key, value)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | オプションキー。 |
| str、int、float、またはbool | オプション値。 |
戻り値
DataFrameReader
例
nullValueオプションを設定したCSVファイルを読み込みます。
Python
import tempfile
with tempfile.TemporaryDirectory(prefix="option") as d:
df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
df.write.mode("overwrite").format("csv").save(d)
spark.read.schema(df.schema).option(
"nullValue", "Alice").format('csv').load(d).show()
# +---+----+
# |age|name|
# +---+----+
# |100|NULL|
# +---+----+