versão
Retorna a versão do Spark. A string contém 2 campos, o primeiro sendo uma versão de lançamento e o segundo sendo uma revisão do git.
Sintaxe
Python
from pyspark.sql import functions as sf
sf.version()
Exemplos
Exemplo 1 : Obter versão do Spark
Python
from pyspark.sql import functions as sf
spark.range(1).select(sf.version()).show(truncate=False)
Output
+----------------------------------------------+
|version() |
+----------------------------------------------+
|4.0.0 4f8d1f575e99aeef8990c63a9614af0fc5479330|
+----------------------------------------------+