MapReduce中是合并先发生还是合并先发生

Question

考虑一个MapReduce程序的WordCount问题。

让我们考虑一下映射器的输出如下：Hello 1 World 1 Hello 1 Hadoop 1 Hello 1Hadoop1

它去了分区器（我们将2指定为缩减器的no，）现在mapout在2个部分part1中获取分区：
Hello 1
Hello 1
Hello 1
Hello 1

Part 2：世界1 Hadoop 1 Hadoop 1

因为在reducer:我们得到的输入是Hello [1，1，1]

世界[1]

Hadoop[1,1]

请澄清我对价值合并的理解。对于MapReduce:K1，V1-

我的查询是当值合并发生时，在合并器执行之前或合并器执行之后（在排序和洗牌期间）。或者值合并发生在将输入提供给减速器级别的减速器之前。

因为根据我的理解：映射器输出首先进入内存，当它超过mapreduce.task.io.sort.mb的阈值时，它会溢出到本地磁盘，但在溢出之前，数据会按分区排序，在每个分区内，在调用排序组合器以减小大小后，它会按键排序。映射器完成后，将合并溢出文件，并根据min.num.spips.for调用合并器。结合价值。

因为，在字数计算问题中，缩减器对每个特定键的所有iterable值进行累加，并写入输出键和值之和。

由于Combiner是mini reducer，我们为Combiner job . setcombinerclass(reduce . class)指定了相同的reducer类；< br >那么在排序和洗牌时，在合并之前调用合并器是有价值的，否则我的理解是不正确的。请澄清我

Answer 1

映射器开始将输出存储在缓冲区中，当缓冲区已满时，在数据溢出到磁盘之前，将执行合并器，尝试减少数据量。

组合器可以执行0次（如果映射器输出数据量小于缓冲区大小）或1-N次，具体取决于数据量。

您的流程不应该依赖于组合器，组合器只是一个可选的优化，用于减少网络从映射器传输到缩减器的数据量。

上一个合并器调用的结果可以再次与最后一个数据合并。您需要保证组合器的输入和输出兼容。并且合路器的输出应与减速器的输入兼容。

合并器类似于局部化简器，在数据被洗牌并传输到化简器之前，它仅合并一个映射器的数据。