window_time

Calcule l'heure d'événement à partir d'une colonne de fenêtre. Les valeurs de la fenêtre de colonne sont produites par des opérateurs d'agrégation de fenêtre et sont de type STRUCT<start: TIMESTAMP, end: TIMESTAMP> où start est inclusif et end est exclusif. L'heure de l'événement des enregistrements produits par les opérateurs d'agrégation de fenêtre peut être calculée comme window_time(window) et est window.end - lit(1).alias("microsecond") (car la microseconde est la précision minimale de l'heure de l'événement prise en charge). La colonne de fenêtre doit être celle produite par un opérateur d’agrégation de fenêtre.

Pour la fonction Databricks SQL correspondante, consultez la fonctionwindow_time.

Syntaxe

Python

from pyspark.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

parameter

parameter	Type	Description
windowColumn	pyspark.sql.Column OU str	La colonne de fenêtre d'un agrégat de fenêtre enregistre.

parameter	Type	Description
windowColumn	pyspark.sql.Column OU str	La colonne de fenêtre d'un agrégat de fenêtre enregistre.

Renvoie

pyspark.sql.Column: la colonne pour les résultats calculés.

Exemples

Python

import datetime
from pyspark.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

Python

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))