如何计算阿帕奇火花的平均值？

Question

我处理了像这样存储的双精度列表：

JavaRDD<Double> myDoubles

我想计算这个列表的平均值。根据文档，：

MLlib的所有方法都使用Java友好类型，因此您可以像在Scala中一样导入和调用它们。唯一的警告是，这些方法采用Scala RDD对象，而Spark Java API使用单独的JavaRDD类。您可以通过对JavaRDD对象调用.RDD（）将JavaRDD转换为Scala RDD。

在同一页面上，我看到以下代码：

val MSE = valuesAndPreds.map{case(v, p) => math.pow((v - p), 2)}.mean()

根据我的理解，这相当于（就类型而言）

Double MSE = RDD<Double>.mean()

因此，我尝试像这样计算我的＜code＞JavaRDD＜/code＞的平均值：

myDoubles.rdd().mean()

然而，它不起作用，给了我以下错误：＜code＞方法mean（）对于RDD类型是未定义的

Answer 1

不要忘记在scala文件的顶部添加导入org.apache.spark.SparkContext._。还要确保您在RDD[Double]上调用了means（）。

Answer 2

这实际上非常简单：mean（） 是为 Java 双RDD 类定义的。我没有找到如何从爪哇RDD投射

确实，scala中的这条线

val mean = valuesAndPreds.map{case(v, p) => (v - p)}.mean()

可以用Java表示为

double mean = valuesAndPreds.mapToDouble(tuple -> tuple._1 - tuple._2).mean();