逆勾配

集計関数: グループ内の null 以外のペアの線形回帰直線の傾きを返します。ここで、 yは従属変数、 xは独立変数です。

構文

Python

from pyspark.sql import functions as sf

sf.regr_slope(y, x)

パラメーター

パラメーター	Type	説明
y	pyspark.sql.Column または文字列	従属変数。
x	pyspark.sql.Column または文字列	独立変数。

戻り値

pyspark.sql.Column: グループ内の非ヌルペアの線形回帰直線の傾き。

例

例1 : すべてのペアが非NULLである

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (1, 1), (2, 2), (3, 3), (4, 4) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()

Output

+----------------+
|regr_slope(y, x)|
+----------------+
|             1.0|
+----------------+

例2 : すべてのペアのx値がnull

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (1, null) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()

Output

+----------------+
|regr_slope(y, x)|
+----------------+
|            NULL|
+----------------+

例3 : すべてのペアのy値がnull

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (null, 1) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()

Output

+----------------+
|regr_slope(y, x)|
+----------------+
|            NULL|
+----------------+