theta_union

Fusionne deux représentations binaires d'objets Datasketches Theta Sketch, à l'aide d'un objet Datasketches Union.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.theta_union(col1, col2, lgNomEntries=None)

parameter

parameter	Type	Description
col1	pyspark.sql.Column ou str	Le premier Theta sketch.
col2	pyspark.sql.Column ou str	Le deuxième schéma Theta.
lgNomEntries	pyspark.sql.Column ou int, facultatif	Le log en base 2 d'entrées nominales pour l'opération d'union (doit être compris entre 4 et 26, la valeur default est 12).

parameter	Type	Description
col1	pyspark.sql.Column ou str	Le premier Theta sketch.
col2	pyspark.sql.Column ou str	Le deuxième schéma Theta.
lgNomEntries	pyspark.sql.Column ou int, facultatif	Le log en base 2 d'entrées nominales pour l'opération d'union (doit être compris entre 4 et 26, la valeur default est 12).

Renvoie

pyspark.sql.Column: La représentation binaire du Theta Sketch Merge.

Exemples

Exemple 1 : Union de deux schémas Theta

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_union(df.sketch1, "sketch2"))).show()

Output

+--------------------------------------------------------+
|theta_sketch_estimate(theta_union(sketch1, sketch2, 12))|
+--------------------------------------------------------+
|                                                       6|
+--------------------------------------------------------+