approx_count_distinct

Renvoie une nouvelle colonne qui estime le nombre approximatif d'éléments distincts dans une colonne spécifiée ou un groupe de colonnes.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.approx_count_distinct(col, rsd=None)

parameter

parameter	Type	Description
col	pyspark.sql.Column ou nom de colonne	L'étiquette de la colonne dans laquelle compter les valeurs distinctes.
rsd	flottant, facultatif	L’écart-type relatif maximal autorisé (par default = 0,05). Si rsd < 0,01, il serait plus efficace d'utiliser count_distinct.

parameter	Type	Description
col	pyspark.sql.Column ou nom de colonne	L'étiquette de la colonne dans laquelle compter les valeurs distinctes.
rsd	flottant, facultatif	L’écart-type relatif maximal autorisé (par default = 0,05). Si rsd < 0,01, il serait plus efficace d'utiliser count_distinct.

Renvoie

pyspark.sql.Column: Nouvel objet Column représentant le nombre unique approximatif.

Exemples

Exemple 1 : Comptage des valeurs distinctes dans un DataFrame à colonne unique représentant des entiers

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([1,2,2,3], "int")
df.agg(sf.approx_count_distinct("value")).show()

Output

+----------------------------+
|approx_count_distinct(value)|
+----------------------------+
|                           3|
+----------------------------+

Exemple 2 : Comptage des valeurs distinctes dans un DataFrame à colonne unique représentant des chaînes de caractères

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([("apple",), ("orange",), ("apple",), ("banana",)], ['fruit'])
df.agg(sf.approx_count_distinct("fruit")).show()

Output

+----------------------------+
|approx_count_distinct(fruit)|
+----------------------------+
|                           3|
+----------------------------+

Exemple 3 : comptage des valeurs distinctes dans un DataFrame avec plusieurs colonnes

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
    [("Alice", 1), ("Alice", 2), ("Bob", 3), ("Bob", 3)], ["name", "value"])
df = df.withColumn("combined", sf.struct("name", "value"))
df.agg(sf.approx_count_distinct(df.combined)).show()

Output

+-------------------------------+
|approx_count_distinct(combined)|
+-------------------------------+
|                              3|
+-------------------------------+

Exemple 4 : Comptage des valeurs distinctes avec un écart type relatif spécifié

Python

from pyspark.sql import functions as sf
spark.range(100000).agg(
    sf.approx_count_distinct("id").alias('with_default_rsd'),
    sf.approx_count_distinct("id", 0.1).alias('with_rsd_0.1')
).show()

Output

+----------------+------------+
|with_default_rsd|with_rsd_0.1|
+----------------+------------+
|           95546|      102065|
+----------------+------------+