ウィンドウ時間

ウィンドウ列からイベント時間をコンピュートします。 列ウィンドウ値は、ウィンドウ集計演算子によって生成され、開始は包括的で終了は排他的であるSTRUCT<start: TIMESTAMP, end: TIMESTAMP>型になります。ウィンドウ集計演算子によって生成されたレコードのイベント時間は、 window_time(window)としてコンピュートされ、 window.end - lit(1).alias("microsecond")になります (マイクロ秒は、サポートされているイベント時間の最小精度であるため)。 ウィンドウ列は、ウィンドウ集計演算子によって生成された列である必要があります。

対応する Databricks SQL 関数については、 window_time関数を参照してください。

構文

Python

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

パラメーター

パラメーター	Type	説明
windowColumn	pyspark.sql.Column または str	ウィンドウ集計レコードのウィンドウ列。

戻り値

pyspark.sql.Column: コンピュート結果の列。

例

Python

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

Python

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))