使用future中的另一列值在pyspark dataframe中创建新列

Question

我有一个包含3列的数据表，我想使用列投影的值创建一个新列。
应该如何从投影中选择值？--它应该选择前一年投影的3个具体值--如果您要为2020年创建一个新列，它应该从2021年、2022年和2023年选择值

我已经尝试了以下SQL：

spark.sql(''从表中选择serial_number,pit_pd_proj为proj1,year,lead(pit_pd_proj,3）over（partition by serial_number order by year）为proj2，其中serial_number=1 order by year'')。show（50,truncate=false）

但这不是完整的答案

Answer 1

可以使用滞后函数来获取以前的值（在需要适当的排序/排序之前）。https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.lag.html

my_window = Window.partitionBy().orderBy("year")
df = df.withColumn("prev_value", F.lag(df.projection).over(my_window))

如果您添加到问题示例表与所需的输出（因为只有源），我可以尝试复制它和更新答案（上面没有测试）。