hell_union

Mesclar duas representações binárias de objetos Datasketches HllSketch, usando um objeto Datasketches Union. Lança uma exceção se os esboços tiverem valores lgConfigK diferentes e allowDifferentLgConfigK não estiver definido ou estiver definido como falso.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.hll_union(col1, col2, allowDifferentLgConfigK=None)

Parâmetros

Parâmetro	Tipo	Descrição
col1	pyspark.sql.Column ou str	O primeiro esboço da HLL.
col2	pyspark.sql.Column ou str	O segundo esboço da HLL.
allowDifferentLgConfigK	booleano, opcional	Permitir que esboços com valores de lgConfigK diferentes sejam mesclados (padrão: falso).

Devoluções

pyspark.sql.ColumnRepresentação binária da mesclagem HllSketch.

Exemplos

Exemplo 1 : União de dois esboços HLL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.hll_sketch_agg("v1").alias("sketch1"),
    sf.hll_sketch_agg("v2").alias("sketch2")
)
df.select(sf.hll_sketch_estimate(sf.hll_union(df.sketch1, "sketch2"))).show()

Output

+-------------------------------------------------------+
|hll_sketch_estimate(hll_union(sketch1, sketch2, false))|
+-------------------------------------------------------+
|                                                      6|
+-------------------------------------------------------+