关于此地图减少字数示例的澄清？

Question

我正在研究地图约简，我有一个关于地图约简的基本字数示例的问题。说我的短信是

  public static class MapClass extends MapReduceBase
implements Mapper<LongWritable, Text, Text, IntWritable> {

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(LongWritable key, Text value, 
                OutputCollector<Text, IntWritable> output, 
                Reporter reporter) throws IOException {
  String line = value.toString();
  StringTokenizer itr = new StringTokenizer(line);
  while (itr.hasMoreTokens()) {
    word.set(itr.nextToken());
    output.collect(word, one);
  }
}

My 1
name 1
is 1
X 1
Y 1
X 1     

我的问题是，如果我在地图工作本身做加法，通过保持一个单词和计数的地图。然后迭代映射，并将计数放入输出。会不会对地图减少工作有影响？产出仍将保持不变；然而，这样做是否会更有效率，因为将有更少的条目可供shuffle、sort和reducer操作？

我在地图工作中做加法的想法是正确的吗？

Answer 1

是的。你应该让你的地图输出尽可能小。进行初步计数将减少在系统中移动的数据量。注意，您仍然需要一个reduce作业来添加每个单词的计数，您的输入可以在Y处拆分，这样两个“x”单词将被转到不同的映射器。

此外，您可以为MapReduce工作做的另一个很好的提高效率的事情是使用组合器。这些是映射步骤完成后映射器节点上的reduce步骤。因此，您可以更多地减少映射作业的输出。