config (SparkSession.Builder)
設定オプションを設定します。このメソッドを使用して設定されたオプションは、SparkConf と SparkSession 自身の構成の両方に自動的に反映されます。
構文
config(key=None, value=None, conf=None, *, map=None)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str、オプション | 構成プロパティのキー名の文字列。 |
| str、オプション | 構成プロパティの値。 |
| SparkConf、オプション |
|
| dict、オプション | 設定する構成のディクショナリ。 |
戻り値
SparkSession.Builder
例
Python
# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)
# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")
# Set multiple configurations.
SparkSession.builder.config(
"spark.some.config.number", 123).config("spark.some.config.float", 0.123)
# Set multiple configurations using a dictionary.
SparkSession.builder.config(
map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})