Spark RDD：填充不规则时间序列

Question

1,
2,
3,
4,
5,
6,
...等等。

到目前为止，我已经用1,2,3,4,5,6,…创建了一个RDD。然后LeftouterJoin把它转到原来的RDD，它给了我：

1，
2，
3，
4，
5，
6，
...等等。

我更愿意在RDD级别上执行，而不使用sparkSQL，这当然是最后的选择。转到scala数组级别并不是很吸引人，因为考虑到性能问题，我更愿意将其保持在RDD级别。

谢谢

Answer 1

相对简单的解决方案，无需初始join。让我们从虚拟数据和一个助手函数开始：

val rdd = sc.parallelize(Seq(
    (3L, 1.0), (1L, 4.0), (5L, 3.6), (7L, 0.2), (8L, 0.0)))

def fillTimePoints(xs: Array[(Long, Double)]) = xs match {
  case Array((xTime, xValue), (yTime, _)) => {
    val diff = yTime - xTime

    if (diff == 0) Seq((xTime, xValue))
    else (xTime, xValue) +: (1 until diff.toInt)
      .map(_.toLong)
      .map(i => (i + xTime, xValue))
  }

  case _ => Seq.empty[(Long, Double)]
}

现在剩下的只是滑动排序的RDD：

import org.apache.spark.mllib.rdd.RDDFunctions._

rdd.sortBy(_._1).sliding(2).flatMap(fillTimePoints).collect

//  Array[(Long, Double)] = Array((1,4.0), (2,4.0), (3,1.0), 
//    (4,1.0), (5,3.6), (6,3.6), (7,0.2))

备注：