mapreduce作业中的“合并器”类

Question

合并器在映射器之后、缩减器之前运行，它将接收由给定节点上的映射器实例发出的所有数据作为输入。然后输出到减速器。

而且，如果一个化简函数既是可交换的又是结合的，那么它可以用作组合器。

我的问题是，在这种情况下，“交换和结合”这个短语是什么意思？

Answer 1

对于交换性，假设你的减速器可以用一个叫做f()的函数(数学术语)来表示。如果f(a，b) = f(b，a ),那么你的约简是可换的，例如:

< li>sum(A，B)与sum(B，A)相同 < li>xor(A，B)与xor(B，A)相同 < li>concat(A，B)不同于concat(B，A)

对于结合性，该属性是 f（f（a， b）， c） = f（a， f（b， c））。例如：

• （A、B、C）与A（B、C）
• （A-B）-C与A-（B-C）不同

因此，在Map/Reduce的上下文中，您的减法器必须尊重这两个属性。例如，如果您的减法器只执行一个sum（）或max（），它会尊重这两个属性，但像means（）或中位数（）这样的东西则不会，因此您不能将其用作组合器。

我个人认为合并器是迷你化简器，在html" target="_blank">map阶段之后在内存中运行，作为减少网络流量的优化，如果您以这种方式看到Map/Reduce，则交换性/关联性实际上是有意义的：

Answer 2

假设你有一个数字列表，1 2 3 4 5 6。

这里的关联意味着您可以将运算应用于任何子组，然后将其应用于这些子组的结果，并得到相同的答案:

(1) + (2 + 3) + (4 + 5 + 6)
  ==
(1 + 2) + (3 + 4) + (5) + (6)
  ==
...

将此处的括号视为组合器的执行。

交换意味着顺序不重要，因此：

1 + 2 + 3 + 4 + 5 + 6
  ==
2 + 4 + 6 + 1 + 2 + 3
  ==
...

例如，加法，适合这个属性，如前所述。“最大值”也适合上面的这个属性，因为最大值的最大值是最大值。max（a， b）==max（b， a）。

中位数是一个不起作用的例子：中位数不是真正的中位数。

不要忘记组合器的另一个重要属性：键/值的输入类型和键/值输出类型必须相同。例如，您不能接受字符串：int并返回字符串：float。

通常，化简器可能会输出某种字符串而不是数值，这可能会阻止您仅将化简器作为组合器插入。