existe
Indique si un prédicat est vrai pour un ou plusieurs éléments dans le tableau. Prend en charge Spark Connect.
Pour la fonction Databricks SQL correspondante, consultez la fonctionexists.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.exists(col=<col>, f=<f>)
parameter
parameter | Type | Description |
|---|---|---|
|
| Nom de la colonne ou de l'expression. |
|
| Une fonction qui renvoie l'expression booléenne. |
Renvoie
pyspark.sql.Column: Vrai si « n'importe quel » élément d'un tableau évalue à vrai lorsqu'il est passé comme argument à une fonction donnée, et faux sinon.
Exemples
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4]), (2, [3, -1, 0])],("key", "values"))
df.select(dbf.exists("values", lambda x: x < 0).alias("any_negative")).show()
Output
+------------+
|any_negative|
+------------+
| false|
| true|
+------------+