hll_union

Merge deux représentations binaires d'objets Datasketches HllSketch, à l'aide d'un objet Datasketches Union. Génère une exception si les esquisses ont des valeurs lgConfigK différentes et que allowDifferentLgConfigK n'est pas défini ou est défini sur false.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.hll_union(col1, col2, allowDifferentLgConfigK=None)

parameter

parameter	Type	Description
col1	pyspark.sql.Column ou str	Le premier HLL sketch.
col2	pyspark.sql.Column ou str	Le 2e HLL sketch.
allowDifferentLgConfigK	bool, facultatif	Autoriser la Merge d'esquisses avec différentes valeurs lgConfigK (default : false).

parameter	Type	Description
col1	pyspark.sql.Column ou str	Le premier HLL sketch.
col2	pyspark.sql.Column ou str	Le 2e HLL sketch.
allowDifferentLgConfigK	bool, facultatif	Autoriser la Merge d'esquisses avec différentes valeurs lgConfigK (default : false).

Renvoie

pyspark.sql.Column: La représentation binaire du HllSketch Merge.

Exemples

Exemple 1 : Union de deux esquisses HLL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.hll_sketch_agg("v1").alias("sketch1"),
    sf.hll_sketch_agg("v2").alias("sketch2")
)
df.select(sf.hll_sketch_estimate(sf.hll_union(df.sketch1, "sketch2"))).show()

Output

+-------------------------------------------------------+
|hll_sketch_estimate(hll_union(sketch1, sketch2, false))|
+-------------------------------------------------------+
|                                                      6|
+-------------------------------------------------------+