config (SparkSession.Builder)

Définit une option de configuration. Les options définies à l’aide de cette méthode sont automatiquement propagées à la configuration de SparkConf et de SparkSession.

Syntaxe

config(key=None, value=None, conf=None, *, map=None)

parameter

parameter	Type	Description
key	str, facultatif	Une chaîne de nom de clé pour une propriété de configuration.
value	str, facultatif	Une valeur pour la propriété de configuration.
conf	SparkConf, facultatif	Une instance de SparkConf.
map	dict, facultatif	Un dictionnaire de configurations à définir.

parameter	Type	Description
key	str, facultatif	Une chaîne de nom de clé pour une propriété de configuration.
value	str, facultatif	Une valeur pour la propriété de configuration.
conf	SparkConf, facultatif	Une instance de SparkConf.
map	dict, facultatif	Un dictionnaire de configurations à définir.

Renvoie

SparkSession.Builder

Exemples

Python

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})