Hadoop字数组合器

Question

   public static class IntSumReducer extends Reducer<Text, IntWritable, Text,IntWritable> {

      public void reduce(Text key, Iterable<IntWritable> values, Context context) 
    throws IOException, InterruptedException {
       int sum = 0;
       for (IntWritable val : values) {
           sum += val.get();
       }
       context.write(key, new IntWritable(sum));
   }
  }

  <Java,1> <Virtual,1> <Machine,1> <Java,1>

它考虑第一个KV对并给出相同的输出...！！？？因为我只有一个价值。为什么它同时考虑钥匙和制造

  <Java,1,1>  

既然我们考虑的是一次一对千伏？我知道这是一个错误的假设；请有人纠正我这一点

Answer 1

IntSumReducer类继承了Reducer类和Reducer类，如果我们查看文档，它在这里执行魔术操作

“将共享键的一组中间值减少为一组较小的值。还原器实现可以通过JobContext.getConfiguration（）方法访问作业的配置。

减速器有3个初级阶段：

程序调用同一类进行合并和约简操作；

job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);

所以我想出的是，如果我们只使用一个数据节点，我们不需要为这个wordcount程序调用combiner类，因为reducer类本身负责combiner工作。

job.setMapperClass(TokenizerMapper.class);
job.setReducerClass(IntSumReducer.class);

如果只使用一个数据节点，上述方法对wordcount程序也有同样的效果。