hll_sketch_agg
Fonction d'agrégation : renvoie la représentation binaire actualisable du Datasketches HllSketch configuré avec l'argument lgConfigK.
Syntaxe
Python
from pyspark.sql import functions as sf
sf.hll_sketch_agg(col, lgConfigK=None)
parameter
parameter | Type | Description |
|---|---|---|
|
| La colonne à agréger. |
|
| Le logarithme en base 2 de K, où K est le nombre de compartiments ou d'emplacements pour le HllSketch. |
Renvoie
pyspark.sql.Column: la représentation binaire du HllSketch.
Exemples
Exemple 1 : Créez un HLL sketch avec le lgConfigK default.
Python
from pyspark.sql import functions as sf
df = spark.createDataFrame([1,2,2,3], "INT")
df.agg(sf.hll_sketch_estimate(sf.hll_sketch_agg("value"))).show()
Output
+----------------------------------------------+
|hll_sketch_estimate(hll_sketch_agg(value, 12))|
+----------------------------------------------+
| 3|
+----------------------------------------------+
Exemple 2 : Créez un croquis HLL avec lgConfigK spécifié
Python
from pyspark.sql import functions as sf
df = spark.createDataFrame([1,2,2,3], "INT")
df.agg(sf.hll_sketch_estimate(sf.hll_sketch_agg("value", 12))).show()
Output
+----------------------------------------------+
|hll_sketch_estimate(hll_sketch_agg(value, 12))|
+----------------------------------------------+
| 3|
+----------------------------------------------+