filtrer

Renvoie un tableau d'éléments pour lesquels un prédicat est vérifié dans un tableau donné. Prend en charge Spark Connect.

Pour la fonction Databricks SQL correspondante, consultez la fonctionfilter.

Syntaxe

Python

from pyspark.sql import functions as dbf

dbf.filter(col=<col>, f=<f>)

parameter

parameter	Type	Description
col	pyspark.sql.Column OU str	Nom de la colonne ou de l'expression.
f	function	Une fonction qui renvoie l'expression booléenne. Peut prendre l'une des formes suivantes : unaire (x: Column) -> Column ou binaire (x: Column, i: Column) -> Column où le deuxième argument est un index de l'élément basé sur 0.

parameter	Type	Description
col	pyspark.sql.Column OU str	Nom de la colonne ou de l'expression.
f	function	Une fonction qui renvoie l'expression booléenne. Peut prendre l'une des formes suivantes : unaire (x: Column) -> Column ou binaire (x: Column, i: Column) -> Column où le deuxième argument est un index de l'élément basé sur 0.

Renvoie

pyspark.sql.Column: tableau filtré d'éléments où la fonction donnée a renvoyé Vrai lorsqu'elle a été passée en argument.

Exemples

Python

from pyspark.sql import functions as dbf
df = spark.createDataFrame(
    [(1, ["2018-09-20",  "2019-02-03", "2019-07-01", "2020-06-01"])],
    ("key", "values")
)
def after_second_quarter(x):
    return dbf.month(dbf.to_date(x)) > 6
df.select(
    dbf.filter("values", after_second_quarter).alias("after_second_quarter")
).show(truncate=False)

Output

+------------------------+
|after_second_quarter    |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+