hll_union

Datasketches Union オブジェクトを使用して、Datasketches HllSketch オブジェクトの 2 つのバイナリ表現を結合します。スケッチに異なる lgConfigK 値があり、allowDifferentLgConfigK が設定されていないか false に設定されている場合は例外をスローします。

構文

Python

from pyspark.sql import functions as sf

sf.hll_union(col1, col2, allowDifferentLgConfigK=None)

パラメーター

パラメーター	Type	説明
col1	pyspark.sql.Column または文字列	最初のHLLスケッチ。
col2	pyspark.sql.Column または文字列	2番目のHLLスケッチ。
allowDifferentLgConfigK	bool、オプション	異なる lgConfigK 値を持つスケッチをマージできるようにします (デフォルトは false)。

戻り値

pyspark.sql.Column: マージされた HllSketch のバイナリ表現。

例

例1 : 2つのHLLスケッチを結合する

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.hll_sketch_agg("v1").alias("sketch1"),
    sf.hll_sketch_agg("v2").alias("sketch2")
)
df.select(sf.hll_sketch_estimate(sf.hll_union(df.sketch1, "sketch2"))).show()

Output

+-------------------------------------------------------+
|hll_sketch_estimate(hll_union(sketch1, sketch2, false))|
+-------------------------------------------------------+
|                                                      6|
+-------------------------------------------------------+