当我们不在马普减中使用组合器时？

Question

每个Hadoop开发者都知道合并器是优化mapreduce的关键，但它是可选的。它可以最小化带宽并提高mapreduce作业性能。在这里，我的问题是，hadoop在默认情况下提供了许多功能，如数据局部性问题，但没有将组合器作为默认值。为什么？这意味着在所有情况下合并器都是不可取的？当我们不使用合成器时。如果我将它设为默认值，会有什么问题呢？

Answer 1

如果在作业中设置组合器，Hadoop将根据数据决定是否运行组合器。

但是如果您不设置组合器，Hadoop将不会运行组合器。

当合路器运行时，它将减小输出的大小。因此，少量数据将在网络中传输。

对于组合器和减速器之间的差异，请检查以下链接：

http://blog.optimal.io/3-differences-between-a-mapreduce-combiner-and-reducer/

Answer 2

组合器可以在 reduce 函数既是可交换的又是结合的的情况下使用。这是因为值在以任意顺序随机播放之前在本地组合。

可交换 - 我们针对值处理操作的顺序在某种程度上对结果没有影响：

1 2 3=1 3 2

Associative-我们处理针对值的操作的顺序在某种程度上对结果没有影响：

（1 2） 3 = 1 （2 3）

因此，最好使用组合器，例如 sum（） 操作，但有些操作不起作用。因此，程序员总是有责任决定组合器是否可用于特定算法。