hll_union

Datasketches Union オブジェクトを使用して、Datasketches HllSketch オブジェクトの 2 つのバイナリ表現を結合します。スケッチに異なる lgConfigK 値があり、allowDifferentLgConfigK が設定されていないか false に設定されている場合は例外をスローします。

構文

Python

from pyspark.sql import functions as sf

sf.hll_union(col1, col2, allowDifferentLgConfigK=None)

パラメーター

パラメーター	Type	説明
col1	pyspark.sql.Column または文字列	最初のHLLスケッチ。
col2	pyspark.sql.Column または文字列	2番目のHLLスケッチ。
allowDifferentLgConfigK	bool、オプション	異なる lgConfigK 値を持つスケッチをマージできるようにします (デフォルトは false)。

パラメーター	Type	説明
col1	pyspark.sql.Column または文字列	最初のHLLスケッチ。
col2	pyspark.sql.Column または文字列	2番目のHLLスケッチ。
allowDifferentLgConfigK	bool、オプション	異なる lgConfigK 値を持つスケッチをマージできるようにします (デフォルトは false)。

戻り値

pyspark.sql.Column: マージされた HllSketch のバイナリ表現。

例

例1 : 2つのHLLスケッチを結合する

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.hll_sketch_agg("v1").alias("sketch1"),
    sf.hll_sketch_agg("v2").alias("sketch2")
)
df.select(sf.hll_sketch_estimate(sf.hll_union(df.sketch1, "sketch2"))).show()

Output

+-------------------------------------------------------+
|hll_sketch_estimate(hll_union(sketch1, sketch2, false))|
+-------------------------------------------------------+
|                                                      6|
+-------------------------------------------------------+