tempo_da_janela

Calcular o tempo do evento a partir de uma coluna de janela. Os valores da janela da coluna são produzidos por operadores de agregação de janela e são do tipo STRUCT<start: TIMESTAMP, end: TIMESTAMP> onde começar é inclusivo e end é exclusivo. O tempo do evento dos registros produzidos pelos operadores de agregação de janela pode ser calculado como window_time(window) e são window.end - lit(1).alias("microsecond") (já que microssegundos é a precisão mínima de tempo de evento suportada). A coluna da janela deve ser uma coluna produzida por um operador de agregação de janelas.

Para a função Databricks SQL correspondente, consulte a funçãowindow_time.

Sintaxe

Python

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Parâmetros

Parâmetro	Tipo	Descrição
windowColumn	pyspark.sql.Column ou str	A coluna "janela" de um conjunto de registros agregados de janelas.

Devoluções

pyspark.sql.Column: a coluna para resultados de cálculo.

Exemplos

Python

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

Python

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))