Fonction définie par l'utilisateur

Une fonction définie par l’utilisateur en Python.

Le constructeur de cette classe n'est pas censé être appelé directement. Utilisez pyspark.sql.functions.udf ou pyspark.sql.functions.pandas_udf pour créer une instance.

Syntaxe

Python

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

my_udf = udf(lambda x: x.upper(), StringType())

Propriétés

Propriété	Description
returnType	Le type renvoyé de la fonction définie par l'utilisateur en tant que type de données.

Propriété	Description
returnType	Le type renvoyé de la fonction définie par l'utilisateur en tant que type de données.

Méthodes

Méthode	Description
asNondeterministic()	Met à jour la UserDefinedFunction en non déterministe.

Méthode	Description
asNondeterministic()	Met à jour la UserDefinedFunction en non déterministe.

Exemples

Python

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

upper_udf = udf(lambda x: x.upper(), StringType())
df = spark.createDataFrame([("alice",), ("bob",)], ["name"])
df.select(upper_udf("name")).show()

Output

+-----------+
|<lambda>(name)|
+-----------+
|      ALICE|
|        BOB|
+-----------+

Python

import random
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

random_udf = udf(lambda: random.randint(0, 100), IntegerType()).asNondeterministic()
random_udf.returnType

Output

IntegerType()