générateur

Interface de création de la configuration de session.

Syntaxe

builder

Méthodes

Méthode	Description
appName(name)	Définit un nom pour l’application, qui est affiché dans l’interface utilisateur web Spark.
create()	Crée une nouvelle SparkSession.
config(key, value, conf, map)	Définit une option de configuration. Les options sont automatiquement propagées à la fois à SparkConf et à la configuration propre à SparkSession.
enableHiveSupport()	Active la prise en charge de Hive, y compris la connectivité à un Hive metastore persistant.
getOrCreate()	Récupère une SparkSession existante ou, s’il n’en existe aucune, en crée une nouvelle en fonction des options définies dans ce builder.
master(master)	Définit l'URL maître Spark à laquelle se connecter.
remote(url)	Définit l'URL distante Spark pour se connecter via Spark Connect.

Méthode	Description
appName(name)	Définit un nom pour l’application, qui est affiché dans l’interface utilisateur web Spark.
create()	Crée une nouvelle SparkSession.
config(key, value, conf, map)	Définit une option de configuration. Les options sont automatiquement propagées à la fois à SparkConf et à la configuration propre à SparkSession.
enableHiveSupport()	Active la prise en charge de Hive, y compris la connectivité à un Hive metastore persistant.
getOrCreate()	Récupère une SparkSession existante ou, s’il n’en existe aucune, en crée une nouvelle en fonction des options définies dans ce builder.
master(master)	Définit l'URL maître Spark à laquelle se connecter.
remote(url)	Définit l'URL distante Spark pour se connecter via Spark Connect.

Exemples

Python

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

Python

spark.sql("SELECT * FROM range(10) where id > 7").show()

Output

+---+
| id|
+---+
|  8|
|  9|
+---+

Python

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

Output

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

Python

spark.range(1, 7, 2).show()

Output

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+