construtor

Interface para criar a configuração da sessão.

Sintaxe

builder

Métodos

Método	Descrição
appName(name)	Define um nome para o aplicativo, que é exibido na IU da web do Spark.
create()	Cria uma nova SparkSession.
config(key, value, conf, map)	Define uma opção de configuração. As opções são propagadas automaticamente tanto para o SparkConf quanto para a própria configuração do SparkSession.
enableHiveSupport()	Habilita o suporte ao Hive, incluindo conectividade a um Hive metastore persistente.
getOrCreate()	Obtém uma SparkSession existente ou, se não houver uma, cria uma nova com base nas opções definidas neste construtor.
master(master)	Define o URL master do Spark para conexão.
remote(url)	Define a URL remota do Spark para conectar via Spark Connect.

Método	Descrição
appName(name)	Define um nome para o aplicativo, que é exibido na IU da web do Spark.
create()	Cria uma nova SparkSession.
config(key, value, conf, map)	Define uma opção de configuração. As opções são propagadas automaticamente tanto para o SparkConf quanto para a própria configuração do SparkSession.
enableHiveSupport()	Habilita o suporte ao Hive, incluindo conectividade a um Hive metastore persistente.
getOrCreate()	Obtém uma SparkSession existente ou, se não houver uma, cria uma nova com base nas opções definidas neste construtor.
master(master)	Define o URL master do Spark para conexão.
remote(url)	Define a URL remota do Spark para conectar via Spark Connect.

Exemplos

Python

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

Python

spark.sql("SELECT * FROM range(10) where id > 7").show()

Output

+---+
| id|
+---+
|  8|
|  9|
+---+

Python

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

Output

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

Python

spark.range(1, 7, 2).show()

Output

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+