kll_merge_agg_float
Fonction d'agrégation : Merge les représentations binaires KllFloatsSketch et renvoie l'esquisse fusionnée. Le k parameter facultatif contrôle la taille et la précision du Merge sketch (plage de 8 à 65535). Si k n'est pas spécifié, le croquis Merge adopte la valeur k du premier croquis d'entrée.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.kll_merge_agg_float(col=<col>, k=<k>)
parameter
parameter | Type | Description |
|---|---|---|
|
| La colonne contenant les représentations binaires de KllFloatsSketch. |
|
| Le paramètre k qui contrôle la taille et la précision (plage de 8 à 65535). |
Renvoie
pyspark.sql.Column: La représentation binaire Merge du KllFloatsSketch.
Exemples
Python
from pyspark.sql import functions as dbf
df1 = spark.createDataFrame([1.0,2.0,3.0], "FLOAT")
df2 = spark.createDataFrame([4.0,5.0,6.0], "FLOAT")
sketch1 = df1.agg(dbf.kll_sketch_agg_float("value").alias("sketch"))
sketch2 = df2.agg(dbf.kll_sketch_agg_float("value").alias("sketch"))
merged = sketch1.union(sketch2).agg(dbf.kll_merge_agg_float("sketch").alias("merged"))
n = merged.select(dbf.kll_sketch_get_n_float("merged")).first()[0]
n
Output
6