RuntimeConfig

API de configuration destinée à l'utilisateur, accessible via SparkSession.conf.

Prend en charge Spark Connect

Les options définies ici sont automatiquement propagées à la configuration Hadoop pendant les E/S.

Syntaxe

Python
spark.conf.set(key, value)
spark.conf.get(key)

Propriété	Description
`getAll`	Renvoie toutes les propriétés définies dans cette configuration sous forme de dictionnaire.

Méthode	Description
`set(key, value)`	Définit la propriété de configuration d'exécution Spark donnée. `value` peut être une chaîne, un entier ou un booléen.
`get(key, default)`	Renvoie la valeur de la propriété de configuration pour la clé donnée. Renvoie `default` si la clé n'existe pas. Lève une exception si la clé n'est pas définie et qu'aucune default n'est fournie.
`unset(key)`	Reset la propriété de configuration pour la clé donnée.
`isModifiable(key)`	Retourne `True` si la propriété de configuration pour la clé donnée est modifiable dans la session actuelle.

Méthode	Description
`set(key, value)`	Définit la propriété de configuration d'exécution Spark donnée. `value` peut être une chaîne, un entier ou un booléen.
`get(key, default)`	Renvoie la valeur de la propriété de configuration pour la clé donnée. Renvoie `default` si la clé n'existe pas. Lève une exception si la clé n'est pas définie et qu'aucune default n'est fournie.
`unset(key)`	Reset la propriété de configuration pour la clé donnée.
`isModifiable(key)`	Retourne `True` si la propriété de configuration pour la clé donnée est modifiable dans la session actuelle.

Définir et récupérer une propriété de configuration :

Python
spark.conf.set("key1", "value1")
spark.conf.get("key1")

Output
'value1'

Récupérez une propriété avec une valeur par default :

Python
spark.conf.get("non-existent-key", "my_default")

Output
'my_default'

Désinitialiser une propriété de configuration :

Python
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

Output
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Récupérer toutes les propriétés de configuration :

Python
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

Output
{'key1': 'value1', 'key2': 'value2'}