regr_slope
Fonction d'agrégation : renvoie la pente de la droite de régression linéaire pour les paires non nulles d'un groupe, où y est la variable dépendante et x est la variable indépendante.
Syntaxe
Python
from pyspark.sql import functions as sf
sf.regr_slope(y, x)
parameter
parameter | Type | Description |
|---|---|---|
|
| La variable dépendante. |
|
| La variable indépendante. |
Renvoie
pyspark.sql.Column: la pente de la droite de régression linéaire pour les paires non nulles dans un groupe.
Exemples
Exemple 1 : Toutes les paires sont non nulles
Python
from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (1, 1), (2, 2), (3, 3), (4, 4) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()
Output
+----------------+
|regr_slope(y, x)|
+----------------+
| 1.0|
+----------------+
Exemple 2 : Toutes les valeurs x des paires sont nulles.
Python
from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (1, null) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()
Output
+----------------+
|regr_slope(y, x)|
+----------------+
| NULL|
+----------------+
Exemple 3 : toutes les valeurs y des paires sont nulles
Python
from pyspark.sql import functions as sf
df = spark.sql("SELECT * FROM VALUES (null, 1) AS tab(y, x)")
df.select(sf.regr_slope("y", "x")).show()
Output
+----------------+
|regr_slope(y, x)|
+----------------+
| NULL|
+----------------+