kll_merge_agg_bigint
Fonction d'agrégation : fusionne les représentations binaires KllLongsSketch et renvoie l'esquisse fusionnée. Le k parameter facultatif contrôle la taille et la précision du Merge sketch (plage de 8 à 65535). Si k n'est pas spécifié, le croquis Merge adopte la valeur k du premier croquis d'entrée.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.kll_merge_agg_bigint(col=<col>, k=<k>)
parameter
parameter | Type | Description |
|---|---|---|
|
| La colonne contenant les représentations binaires de KllLongsSketch. |
|
| Le paramètre k qui contrôle la taille et la précision (plage de 8 à 65535). |
Renvoie
pyspark.sql.Column: La représentation binaire fusionnée du KllLongsSketch.
Exemples
Python
from pyspark.sql import functions as dbf
df1 = spark.createDataFrame([1,2,3], "INT")
df2 = spark.createDataFrame([4,5,6], "INT")
sketch1 = df1.agg(dbf.kll_sketch_agg_bigint("value").alias("sketch"))
sketch2 = df2.agg(dbf.kll_sketch_agg_bigint("value").alias("sketch"))
merged = sketch1.union(sketch2).agg(dbf.kll_merge_agg_bigint("sketch").alias("merged"))
n = merged.select(dbf.kll_sketch_get_n_bigint("merged")).first()[0]
n
Output
6