config (SparkSession.Builder)

Define uma opção de configuração. As opções definidas usando este método são propagadas automaticamente para a configuração do SparkConf e do SparkSession.

Sintaxe

config(key=None, value=None, conf=None, *, map=None)

Parâmetros

Parâmetro	Tipo	Descrição
key	str, opcional	Uma string de nome de key para uma propriedade de configuração.
value	str, opcional	Um valor para a propriedade de configuração.
conf	SparkConf, opcional	Uma instância de SparkConf.
map	dict, opcional	Um dicionário de configurações a definir.

Parâmetro	Tipo	Descrição
key	str, opcional	Uma string de nome de key para uma propriedade de configuração.
value	str, opcional	Um valor para a propriedade de configuração.
conf	SparkConf, opcional	Uma instância de SparkConf.
map	dict, opcional	Um dicionário de configurações a definir.

Devolve

SparkSession.Builder

Exemplos

Python

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})