filtro

Retorna uma matriz de elementos para os quais um predicado é válido em uma determinada matriz. Compatível com Spark Connect.

Para a função Databricks SQL correspondente, consulte a funçãofilter.

Sintaxe

Python

from pyspark.databricks.sql import functions as dbf

dbf.filter(col=<col>, f=<f>)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou str	Nome da coluna ou expressão.
f	function	Uma função que retorna a expressão Boolean . Pode assumir uma das seguintes formas: Unário (x: Column) -> Column ou Binário (x: Column, i: Column) -> Column onde o segundo argumento é um índice baseado em 0 do elemento.

Devoluções

pyspark.sql.Column: matriz filtrada de elementos onde a função fornecida foi avaliada como Verdadeira quando passada como argumento.

Exemplos

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame(
    [(1, ["2018-09-20",  "2019-02-03", "2019-07-01", "2020-06-01"])],
    ("key", "values")
)
def after_second_quarter(x):
    return dbf.month(dbf.to_date(x)) > 6
df.select(
    dbf.filter("values", after_second_quarter).alias("after_second_quarter")
).show(truncate=False)

Output

+------------------------+
|after_second_quarter    |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+