theta_sketch_agg
Fonction d'agrégation : renvoie la représentation binaire compacte du Datasketches Theta Sketch avec les valeurs de la colonne d'entrée configurées avec des entrées nominales lgNomEntries.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.theta_sketch_agg(col=<col>, lgNomEntries=<lgNomEntries>)
parameter
parameter | Type | Description |
|---|---|---|
|
| La colonne contenant les valeurs à agréger. |
|
| Le logarithme en base 2 des entrées nominales, où les entrées nominales représentent la taille de l'esquisse (doit être compris entre 4 et 26, la valeur par default est 12). |
Renvoie
pyspark.sql.Column: La représentation binaire de l'esquisse de Theta.
Exemples
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([1,2,2,3], "INT")
df.agg(dbf.theta_sketch_estimate(dbf.theta_sketch_agg("value"))).show()
Output
+--------------------------------------------------+
|theta_sketch_estimate(theta_sketch_agg(value, 12))|
+--------------------------------------------------+
| 3|
+--------------------------------------------------+
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([1,2,2,3], "INT")
df.agg(dbf.theta_sketch_estimate(dbf.theta_sketch_agg("value", 15))).show()
Output
+--------------------------------------------------+
|theta_sketch_estimate(theta_sketch_agg(value, 15))|
+--------------------------------------------------+
| 3|
+--------------------------------------------------+