在hadoop流mapduce中使用组合器（使用mrjob）

Question

当我学习mapreduce时，其中一个关键组件是组合器。这是映射器和还原器之间的一个步骤，基本上在映射阶段结束时运行还原器，以减少映射器输出的数据行数。随着我需要处理的数据的大小增加（以万亿字节的规模），减少步骤变得非常慢。我和我的一个朋友谈过，他说这也是他的经历，他没有使用组合器，而是使用哈希函数来划分他的reduce键，这减少了reduce步骤中每个键的值的数量。我试过了，效果很好。有没有其他人有过组合器步骤伸缩性不好的经验，为什么我找不到关于这个问题以及解决方法的任何文档？如果有办法使组合器步进缩放，我宁愿不使用解决方法。

[编辑]这里有一个我朋友建议的变通方法的例子，它比合并器快得多:

不是输出< code>word，count

映射器输出＜code＞（字、哈希（时间戳）%1024）、计数

然后有2个减少步骤来合并映射器的结果。

Answer 1

我认为这些是不同的事情，没有变通办法。

>

仅当所讨论的计算允许部分归约时，即从键的部分元组发出中间结果，并使用化简步骤组合中间结果时，组合器才适用。使用组合器可以轻松求和或平均值，而其他算法则不然。

Reduce步骤的性能（可伸缩性）很大程度上取决于键分区函数将唯一映射输出键映射到reducer插槽的效果。一个好的分区员应该为每个减速机工人分配相同的工作负载。

随着我需要处理的数据量的增加(在数TB的规模上)，reduce步骤变得极其缓慢

MR 范式没有任何固有的内容使“简化”步骤无法缩放。但是，您的算法可能无法很好地映射到地图还原。如果您能提供更多关于您具体在做什么的信息，我们可以帮助您弄清楚。

他使用散列函数对他的减少键进行分区，该函数减少了减少步骤中每个键的值数量

这对我来说没有意义。在键上使用哈希函数只能增加每个桶的值数量。