具有动态滞后的窗函数

Question

我正在查看Spark SQL中的Spark DataFrame的窗口幻灯片函数。

我有一个包含列ID、monte和volume的数据表。

id       month   volume new_col
1        201601  100     0
1        201602  120   100
1        201603  450   220
1        201604  200   670
1        201605  121   870

window = Window.partitionBy(F.col('id')).orderBy(F.col('month').asc())
df.withColumn('new_col', F.lag(col('volume'), 1).over(window) + F.lag(col('new_col'), 1).over(window))

Answer 1

您可以在窗口上使用lag和sum来实现这一点。sum将自动计算在窗口上使用的cumsum。下面的代码将首先延迟volume列，然后获取其cumsum，但是也可以按照相反的顺序执行操作。

window = Window.partitionBy(F.col('id')).orderBy(F.col('month').asc())
df.withColumn('new_col', F.sum(F.lag(col('volume'), 1, 0).over(window)).over(window))