vector_cosine_similarity

Renvoie la similarité cosinus entre deux vecteurs flottants. Les vecteurs doivent avoir la même dimension.

Pour la fonction Databricks SQL correspondante, consultez la fonctionvector_cosine_similarity.

Syntaxe

Python

from pyspark.sql import functions as dbf

dbf.vector_cosine_similarity(left=<left>, right=<right>)

parameter

parameter	Type	Description
left	pyspark.sql.Column ou nom de colonne	Première colonne vectorielle.
right	pyspark.sql.Column ou nom de colonne	Deuxième colonne vectorielle.

parameter	Type	Description
left	pyspark.sql.Column ou nom de colonne	Première colonne vectorielle.
right	pyspark.sql.Column ou nom de colonne	Deuxième colonne vectorielle.

Renvoie

pyspark.sql.Column: similitude cosinus sous forme de valeur flottante.

Exemples

Python

from pyspark.sql import functions as dbf
from pyspark.sql.types import ArrayType, FloatType, StructType, StructField

schema = StructType([StructField('a', ArrayType(FloatType())), StructField('b', ArrayType(FloatType()))])
df = spark.createDataFrame([([1.0, 2.0, 3.0], [4.0, 5.0, 6.0])], schema)
df.select(dbf.vector_cosine_similarity('a', 'b')).first()[0]
# 0.974631...