count
Renvoie le nombre d'éléments d'un groupe.
Syntaxe
Python
from pyspark.sql import functions as sf
sf.count(col)
parameter
parameter | Type | Description |
|---|---|---|
|
| Colonne cible sur laquelle effectuer le calcul. |
Renvoie
pyspark.sql.Column: colonne pour les résultats calculés.
Exemples
Exemple 1 : Compter toutes les lignes dans un DataFrame
Python
from pyspark.sql import functions as sf
df = spark.createDataFrame([(None,), ("a",), ("b",), ("c",)], schema=["alphabets"])
df.select(sf.count(sf.expr("*"))).show()
Output
+--------+
|count(1)|
+--------+
| 4|
+--------+
Exemple 2 : Compter les valeurs non nulles dans une colonne spécifique
Python
from pyspark.sql import functions as sf
df.select(sf.count(df.alphabets)).show()
Output
+----------------+
|count(alphabets)|
+----------------+
| 3|
+----------------+
Exemple 3 : Compter toutes les lignes dans un DataFrame avec plusieurs colonnes
Python
from pyspark.sql import functions as sf
df = spark.createDataFrame(
[(1, "apple"), (2, "banana"), (3, None)], schema=["id", "fruit"])
df.select(sf.count(sf.expr("*"))).show()
Output
+--------+
|count(1)|
+--------+
| 3|
+--------+
Exemple 4 : Comptez les valeurs non nulles dans plusieurs colonnes
Python
from pyspark.sql import functions as sf
df.select(sf.count(df.id), sf.count(df.fruit)).show()
Output
+---------+------------+
|count(id)|count(fruit)|
+---------+------------+
| 3| 2|
+---------+------------+