xxhash64

Calcule le code de hachage des colonnes données à l’aide de la variante 64 bits de l’algorithme xxHash, et renvoie le résultat sous forme de colonne longue. Le calcul de hachage utilise une graine initiale de 42. Prend en charge Spark Connect.

Pour la fonction Databricks SQL correspondante, consultez la fonctionxxhash64.

Syntaxe

Python

from pyspark.sql import functions as dbf

dbf.xxhash64(*cols)

parameter

parameter	Type	Description
cols	pyspark.sql.Column ou str	Une ou plusieurs colonnes à compute.

parameter	Type	Description
cols	pyspark.sql.Column ou str	Une ou plusieurs colonnes à compute.

Renvoie

pyspark.sql.Column: valeur de hachage sous forme de colonne de type long.

Exemples

Exemple 1 : calcul de xxhash64 d'une seule colonne

Python

from pyspark.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.xxhash64('c1')).show()

Output

+---+---+-------------------+
| c1| c2|       xxhash64(c1)|
+---+---+-------------------+
|ABC|DEF|4105715581806190027|
+---+---+-------------------+

Exemple 2 : Calcul de xxhash64 de plusieurs colonnes

Python

from pyspark.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.xxhash64('c1', df.c2)).show()

Output

+---+---+-------------------+
| c1| c2|   xxhash64(c1, c2)|
+---+---+-------------------+
|ABC|DEF|3233247871021311208|
+---+---+-------------------+