バージョン

Spark バージョンを返します。文字列には 2 つのフィールドが含まれており、最初のフィールドはリリース バージョン、2 番目のフィールドは git リビジョンです。

構文

Python

from pyspark.sql import functions as sf

sf.version()

例

例1 : Sparkのバージョンを取得する

Python

from pyspark.sql import functions as sf
spark.range(1).select(sf.version()).show(truncate=False)

Output

+----------------------------------------------+
|version()                                     |
+----------------------------------------------+
|4.0.0 4f8d1f575e99aeef8990c63a9614af0fc5479330|
+----------------------------------------------+