ランタイム構成

ユーザー向け構成 API。 SparkSession.confを通じてアクセスできます。

Spark Connectをサポート

ここで設定されたオプションは、I/O 中に Hadoop 構成に自動的に伝播されます。

構文

Python
spark.conf.set(key, value)
spark.conf.get(key)

属性	説明
`getAll`	この構成で設定されているすべてのプロパティを辞書として返します。

手法	説明
`set(key, value)`	指定された Spark ランタイム構成プロパティを設定します。`value` 、文字列、整数、またはブール値を指定できます。
`get(key, default)`	指定されたキーの構成プロパティの値を返します。キーが存在しない場合は`default`を返します。キーが設定されておらず、デフォルトが提供されていない場合は例外が発生します。
`unset(key)`	指定されたキーの構成プロパティをリセットします。
`isModifiable(key)`	指定されたキーの構成プロパティが現在のセッションで変更可能な場合は`True`を返します。

構成プロパティを設定および取得します。

Python
spark.conf.set("key1", "value1")
spark.conf.get("key1")

Output
'value1'

デフォルト値を持つプロパティを取得します。

Python
spark.conf.get("non-existent-key", "my_default")

Output
'my_default'

構成プロパティを設定解除します。

Python
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

Output
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

すべての構成プロパティを取得します。

Python
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

Output
{'key1': 'value1', 'key2': 'value2'}