メインコンテンツまでスキップ

以上

列にウィンドウ仕様を適用します。

構文

Python
over(window)

パラメーター

パラメーター

Type

説明

window

ウィンドウスペック

ウィンドウ仕様

パラメーター

Type

説明

window

ウィンドウスペック

ウィンドウ仕様

戻り値

Python
from pyspark.sql import Window
from pyspark.sql.functions import rank, min, desc
window = (
Window.partitionBy("name")
.orderBy("age")
.rowsBetween(Window.unboundedPreceding, Window.currentRow)
)
df = spark.createDataFrame(
[(2, "Alice"), (5, "Bob")], ["age", "name"])
df.withColumn(
"rank", rank().over(window)
).withColumn(
"min", min('age').over(window)
).sort(desc("age")).show()
Output
# +---+-----+----+---+
# |age| name|rank|min|
# +---+-----+----+---+
# | 5| Bob| 1| 5|
# | 2|Alice| 1| 2|
# +---+-----+----+---+
このページの見出し