theta_difference
Renvoie la différence d'ensemble de deux représentations binaires d'objets Datasketches Theta Sketch (éléments dans le premier croquis mais pas dans le second), à l'aide d'un objet Datasketches ANotB.
Syntaxe
Python
from pyspark.sql import functions as sf
sf.theta_difference(col1, col2)
parameter
parameter | Type | Description |
|---|---|---|
|
| Le premier Theta sketch. |
|
| Le deuxième schéma Theta. |
Renvoie
pyspark.sql.Column: la représentation binaire du Theta Sketch de différence.
Exemples
Exemple 1 : Obtenir la différence de deux croquis Theta
Python
from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,4),(3,5),(4,5)], "struct<v1:int,v2:int>")
df = df.agg(
sf.theta_sketch_agg("v1").alias("sketch1"),
sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_difference(df.sketch1, "sketch2"))).show()
Output
+---------------------------------------------------------+
|theta_sketch_estimate(theta_difference(sketch1, sketch2))|
+---------------------------------------------------------+
| 3|
+---------------------------------------------------------+