使用MapReduce计算数字的平均值

Question

我一直在尝试编写一些代码来使用MapReduce查找数字的平均值。

我尝试使用全局计数器来实现我的目标，但是我无法在映射器的< code>map方法中设置计数器值，也无法在缩减器的< code>reduce方法中检索计数器值。

我是否必须在< code>map中使用全局计数器(例如，通过使用所提供的< code>Reporter的< code>incrCounter(key，amount))？或者你会建议任何不同的逻辑来得到一些数字的平均值吗？

Answer 1

平均值是总和/大小。如果sum类似于sum=k1 k2 k3…，那么您可以在求和之后或求和期间除以大小。所以平均值也是k1/尺寸k2/尺寸k3/尺寸。。。

Java8代码很简单：

    public double average(List<Valuable> list) {
      final int size = list.size();
      return list
            .stream()
            .mapToDouble(element->element.someValue())
            .reduce(0,(sum,x)->sum+x/size);
    }

因此，您首先将列表中元素的每个值映射为双精度，然后通过减少函数求和。

Answer 2

使用所有3个映射器/合并器/缩减器来解决问题。完整代码请参考下面的链接

http://alchemistviews.blogspot.com/2013/08/calculate-average-in-map-reduce-using.html

Answer 3

逻辑非常简单：如果所有数字都具有相同的键，则映射器将发送您要查找具有相同键的平均值的所有值。因此，在化简器中，您可以对迭代器中的值求和。然后，您可以在迭代器工作的数字时间上保留一个计数器，这解决了要平均多少个项目的问题。最后，在迭代器之后，您可以通过将总和除以项目数来找到平均值。

小心，如果组合器类设置为与reducer相同的类，则此逻辑将不起作用。。。