row_number

Fonction de fenêtre : renvoie un numéro séquentiel commençant à 1 au sein d'une partition de fenêtre.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.row_number()

parameter

Cette fonction ne prend aucun paramètre.

Renvoie

pyspark.sql.Column: la colonne de calcul des numéros de ligne.

Exemples

Python

from pyspark.sql import functions as sf
from pyspark.sql import Window
df = spark.range(3)
w = Window.orderBy(df.id.desc())
df.withColumn("desc_order", sf.row_number().over(w)).show()

Output

+---+----------+
| id|desc_order|
+---+----------+
|  2|         1|
|  1|         2|
|  0|         3|
+---+----------+