Configuração de tempo de execução

API de configuração voltada para o usuário, acessível através de SparkSession.conf.

Compatível com Spark Connect

As opções definidas aqui são propagadas automaticamente para a configuração do Hadoop durante as operações de E/S.

Sintaxe

Python
spark.conf.set(key, value)
spark.conf.get(key)

Propriedade	Descrição
`getAll`	Retorna todas as propriedades definidas nesta configuração como um dicionário.

Método	Descrição
`set(key, value)`	Define a propriedade de configuração de tempo de execução do Spark especificada. `value` pode ser uma string, um número inteiro ou um valor booleano.
`get(key, default)`	Retorna o valor da propriedade de configuração para a key fornecida. Retorna `default` se a key não existir. Gera uma exceção se a key não estiver definida e nenhum default for fornecido.
`unset(key)`	Redefina a propriedade de configuração para a key fornecida.
`isModifiable(key)`	Retorna `True` se a propriedade de configuração para a key fornecida for modificável na sessão atual.

Definir e recuperar uma propriedade de configuração:

Python
spark.conf.set("key1", "value1")
spark.conf.get("key1")

Output
'value1'

Recuperar uma propriedade com um valor default :

Python
spark.conf.get("non-existent-key", "my_default")

Output
'my_default'

Remover uma propriedade de configuração:

Python
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

Output
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Recuperar todas as propriedades de configuração:

Python
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

Output
{'key1': 'value1', 'key2': 'value2'}