último_valor

Retorna o último valor de col para um grupo de linhas. Ele retornará o último valor não nulo que encontrar quando ignoreNulls estiver definido como verdadeiro. Se todos os valores forem nulos, então será retornado nulo.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.last_value(col, ignoreNulls=None)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou str	coluna de destino para trabalhar.
ignoreNulls	pyspark.sql.Column ou booleano, opcional	Se o primeiro valor for nulo, procure o primeiro valor não nulo.

Devoluções

pyspark.sql.Column: algum valor de col para um grupo de linhas.

Exemplos

Exemplo 1 : Obter o último valor sem ignorar valores nulos

Python

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a'), sf.last_value('b')).show()

Output

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|         NULL|            2|
+-------------+-------------+

Exemplo 2 : Obter o último valor ignorando valores nulos

Python

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a', True), sf.last_value('b', True)).show()

Output

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|            b|            2|
+-------------+-------------+