Spark Scala UDAF在n天内滚动计数

Question

下面是我的窗口值rollingWindow=window.partitionby（keyColumn）.orderby(unix_timestamp).rangebetween（-30243600,currentRow）

我不能用任何其他键对数据进行分区，因为这样计数就会出错。如有任何建议，我将不胜感激

Answer 1

使用UDAF实现切片窗口可能有点棘手。如果问题是分区很大，那么UDAF也可能有同样的问题，因为您也需要聚合键。

我会先检查滑动窗口的问题，为什么它需要这么长时间才能完成（它完成了吗？）然后转到其他选项。您必须考虑到Spark SQL优化提高了内存/CPU/存储效率，因此先验地使用UDAF处理使用JVM类型的数据不会提高性能。

如果您的分区很大，您可以尝试使用RDS和MapPartition中的迭代器转换。迭代器是一种逐个访问元素集合的方法。迭代器不会一起加载内存中的所有元素集合。相反，迭代器一个接一个地加载元素“。

// AN example of pair RDD
val rdd : RDD[(Int, Array[Double])] = ???

rdd.mapPartitions { iterator : Iterator[(Int, Array[Double])] =>
  // Read the elements one by one with the next method
  // 
  iterator.map(el => (el, windowFunction(buffer))
}