conf

Interface de configuration Runtime pour Spark.

Il s'agit de l'interface par laquelle l'utilisateur peut obtenir et définir toutes les configurations Spark et Hadoop pertinentes pour Spark SQL. Lorsque vous obtenez la valeur d'une configuration, elle utilise par default la valeur définie dans le SparkContext sous-jacent, le cas échéant.

Syntaxe

conf

Renvoie

pyspark.sql.conf.RuntimeConfig

Exemples

Python

spark.conf

# Set a runtime configuration for the session.
spark.conf.set("key", "value")
spark.conf.get("key")
# 'value'