ビルダー

セッション構成を構築するためのインターフェース。

構文

builder

メソッド

手法	説明
appName(name)	アプリケーションの名前を設定します。この名前はSpark Web UIに表示されます。
create()	新しいSparkSessionを作成します。
config(key, value, conf, map)	設定オプションを設定します。オプションは、SparkConfとSparkSession独自の構成の両方に自動的にプロパゲーションされます。
enableHiveSupport()	永続的な Hive metastore への接続を含む、Hive サポートを有効にします。
getOrCreate()	既存のSparkSessionを取得します。存在しない場合は、このビルダーで設定されたオプションに基づいて新しいSparkSessionを作成します。
master(master)	接続先のSparkマスターURLを設定します。
remote(url)	Spark Connect 経由で接続するための Spark リモート URL を設定します。

手法	説明
appName(name)	アプリケーションの名前を設定します。この名前はSpark Web UIに表示されます。
create()	新しいSparkSessionを作成します。
config(key, value, conf, map)	設定オプションを設定します。オプションは、SparkConfとSparkSession独自の構成の両方に自動的にプロパゲーションされます。
enableHiveSupport()	永続的な Hive metastore への接続を含む、Hive サポートを有効にします。
getOrCreate()	既存のSparkSessionを取得します。存在しない場合は、このビルダーで設定されたオプションに基づいて新しいSparkSessionを作成します。
master(master)	接続先のSparkマスターURLを設定します。
remote(url)	Spark Connect 経由で接続するための Spark リモート URL を設定します。

例

Python

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

Python

spark.sql("SELECT * FROM range(10) where id > 7").show()

Output

+---+
| id|
+---+
|  8|
|  9|
+---+

Python

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

Output

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

Python

spark.range(1, 7, 2).show()

Output

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+