Hadoop字数

Question

对于Hadoop中的单词计数例子，在map函数中，它将单词和1作为中间结果写到文件中，并使用reduce进行求和。为什么不在mapper函数中使用hashmap，它的关键字是word，值是count，如果一个单词在一个文件spit中出现一次以上，就会添加该单词的值。在映射器函数的末尾，写出结果。

这样就比原来的设计（不使用combiner）更有效率，虽然使用combiner，效率应该是相等的。

有什么建议吗？

Answer 1

我知道这是一个老帖子，但对于将来寻找Hadoop帮助的人来说，也许可以查看这个问题以获得另一个参考:Hadoop单词计数:接收以字母“C”开头的单词总数。

Answer 2

是的，您也可以使用hashmap。但在设计解决方案时，您需要考虑最坏的情况。

通常情况下，块的大小是128 MB，并且考虑有没有重复或非常少重复的小字（就字长而言）。在这种情况下，你会有很多词，因而没有。HashMap中的条目数将增加，从而消耗更多的内存。您需要考虑到，可能有许多不同的作业在同一个数据节点上操作，因此这个HashMap消耗更多的RAM，最终也会减慢其他作业的速度。此外，当HashMap的大小变大时，它必须执行重新哈希，这会为您的作业执行增加更多的时间。