如何在Pyspark和group by data中添加具有min和max函数的新列？

Question

PySpark数据帧：adobeDF

向数据框添加新列：

from pyspark.sql.window import Window
from pyspark.sql import functions as f
adobeDF_new = adobeDF.withColumn('start_date', f.col('Date')).withColumn('end_date', f.col('Date'))

结果：

我试图找出如何在开始日期中保存最小（日期）值和结束日期中保存最大（日期）值的代码，并按post_evar10和类型对最终数据帧进行分组。

我尝试过的：下面的代码工作，但想看看是否有更好的方法，并将数据限制在60天start_date

from pyspark.sql.window import Window
from pyspark.sql import functions as f
adobe_window = Window.partitionBy('post_evar10','Type').orderBy('Date')
adobeDF_new = adobeDF.withColumn('start_date', min(f.col('Date')).over(adobe_window)).withColumn('end_date', max(f.col('Date')).over(adobe_window))

Answer 1

下面呢？

adobeDF.groupBy("post_evar10").agg(
    f.min("start_date").alias("min_start"),
    f.max("end_date").alias("max_end")
)