Spark窗口性能问题

Question

我有一个拼花地板数据表，结构如下：

null

var data = sparkSession.read.parquet("s3://data-location")
var window = Window.rowsBetween(-250, Window.currentRow - 1).partitionBy("ID").orderBy("DATE")
data.withColumn("Feature_1", col("Feature_1").divide(avg("Feature_1").over(window))).write.parquet("s3://data-out")

null

我已经调整了以下设置，希望降低总时间：

• spark.memory.storagefraction 0.02
• spark.sql.windowexec.buffer.in.memory.threshold 100000
• spark.sql.constraintpropagation.enabled false

第二种方法帮助防止了日志中出现的一些溢出，但对实际性能没有任何帮助。

null

有什么方法可以改善这一点，或者窗口函数通常运行缓慢与我的使用？这只是20M行，远不及spark用其他类型的工作负载所能处理的..

Answer 1

您的数据集大小约为70 GB。如果我对每个id都理解正确的话，它就是对所有记录按日期排序，然后取前面的250条记录做平均值。由于您需要在400多个专栏上应用这一点，我建议在创建拼花地板时尝试bucketing以避免洗牌。编写bucketted parquet文件需要相当多的时间，但对于所有480列的派生可能不需要8分钟*480执行时间。

请尝试bucketing或重新分区和sortwithin创建拼花地板文件，让我知道如果它工作。