用于Hadoop的单词百分比程序

Question

我正在做一个著名的WordCount程序的稍微改进的版本，它应该输出单词占书的百分比。例如：

...
war 0.00002332423%
peace 0.0034234324%
...

基本上，我需要计算所有的单词，计算每一个单词的出现次数，将这组值除以总数。所以至少应该有两个工作：

作业1

null

null

>

我希望避免重复原始输入，这就是为什么我要在job1中同时计算字数和总数。但我不明白如何避免在一个输出中混淆结果。我尝试使用multipleoutputs，但在本例中，映射器的结果不会进入reducer。

Job2需要多个输入，而且它需要首先读取output2，因为如果没有总数，从output1读取结果是没有用的。我觉得这是使用MapReduce的错误方法（我们不应该使用任何类型的同步），但没有看到正确的方法。

Job2中的映射器没有任何有用的功能，只会浪费处理器的时间。

Answer 1

关于使用单一工作的一个想法：

total_count可以从第一个作业的映射阶段计算。实际上，它已经算作map_output_records。这是所有映射输出(key，value)对的总和。因此，如果您总是以1作为值，那么这个和就是您想要的，即文档中的总字数（带有重复）。

现在，我不知道你能不能在减速器的配置中得到这个计数器。然后，您可以为每个单词输出(word,wordcount/map_output_records)对。我认为你可以通过以下方式做到这一点：

context.getCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_RECORDS").getValue();

reporter.getCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_RECORDS").getValue();