最後

グループ内の最後の値を返します。デフォルトでは、この関数は最後に確認した値を返します。ignoreNulls が true に設定されている場合、最後に検出された null 以外の値を返します。すべての値が null の場合、null が返されます。この関数は非決定的です。その結果は行の順序に依存し、シャッフル後は行の順序が非決定的になる可能性があるからです。

構文

Python

from pyspark.sql import functions as sf

sf.last(col, ignorenulls=False)

パラメーター

パラメーター	Type	説明
col	pyspark.sql.Column または列名	最後の値を取得する列。
ignorenulls	bool	最後の値が null の場合、null 以外の値を探します。デフォルトでは False です。

パラメーター	Type	説明
col	pyspark.sql.Column または列名	最後の値を取得する列。
ignorenulls	bool	最後の値が null の場合、null 以外の値を探します。デフォルトでは False です。

戻り値

pyspark.sql.Column: グループの最後の値。

例

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", 2), ("Bob", 5), ("Alice", None)], ("name", "age"))
df = df.orderBy(df.age.desc())
df.groupby("name").agg(sf.last("age")).orderBy("name").show()

Output

+-----+---------+
| name|last(age)|
+-----+---------+
|Alice|     NULL|
|  Bob|        5|
+-----+---------+

null 値を無視するには、 ignorenulls Trueに設定します。

Python

df.groupby("name").agg(sf.last("age", ignorenulls=True)).orderBy("name").show()

Output

+-----+---------+
| name|last(age)|
+-----+---------+
|Alice|        2|
|  Bob|        5|
+-----+---------+