theta_union_agg
Fonction d'agrégation : retourne la représentation binaire compacte du Datasketches Theta Sketch qui est l'union des Theta sketches dans la colonne d'entrée.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.theta_union_agg(col=<col>, lgNomEntries=<lgNomEntries>)
parameter
parameter | Type | Description |
|---|---|---|
|
| La colonne contenant les esquisses Theta à unir. |
|
| Le log en base 2 d'entrées nominales pour l'opération d'union (doit être compris entre 4 et 26, la valeur default est 12). |
Renvoie
pyspark.sql.Column: La représentation binaire du Theta Sketch Merge.
Exemples
Python
from pyspark.sql import functions as dbf
df1 = spark.createDataFrame([1,2,2,3], "INT")
df1 = df1.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df2 = spark.createDataFrame([4,5,5,6], "INT")
df2 = df2.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df3 = df1.union(df2)
df3.agg(dbf.theta_sketch_estimate(dbf.theta_union_agg("sketch"))).show()
Output
+--------------------------------------------------+
|theta_sketch_estimate(theta_union_agg(sketch, 12))|
+--------------------------------------------------+
| 6|
+--------------------------------------------------+