corr
Renvoie une nouvelle colonne pour le coefficient de corrélation de Pearson pour col1 et col2.
Syntaxe
Python
from pyspark.sql import functions as sf
sf.corr(col1, col2)
parameter
parameter | Type | Description |
|---|---|---|
|
| Première colonne pour calculer la corrélation. |
|
| Deuxième colonne pour calculer la corrélation. |
Renvoie
pyspark.sql.Column: coefficient de corrélation de Pearson de ces deux valeurs de colonne.
Exemples
Python
from pyspark.sql import functions as sf
a = range(20)
b = [2 * x for x in range(20)]
df = spark.createDataFrame(zip(a, b), ["a", "b"])
df.agg(sf.corr("a", df.b)).show()
Output
+----------+
|corr(a, b)|
+----------+
| 1.0|
+----------+