在map reduce中没有合并相位的情况下，减速器的输入是什么。

Question

我正在阅读mapreduce with combiners教程http://www . tutorialspoint . com/map _ reduce/map _ reduce _ combiners . htm

减速器从组合器接收以下输入：

<What,1,1,1> <do,1,1> <you,1,1> <mean,1> <by,1> <Object,1>
<know,1> <about,1> <Java,1,1,1>
<is,1> <Virtual,1> <Machine,1>
<How,1> <enabled,1> <High,1> <Performance,1>

我的疑问是，如果我跳过组合器并允许映射器将输出传递给减速器而不执行任何分组操作（不使用组合器）并允许它通过洗牌和排序阶段会怎样。

在映射器阶段结束并经过洗牌和排序阶段后，reducer将接收到什么输入？

我可以检查减速器接收到了什么输入吗？

Answer 1

我想说，您从该教程中看到的输出可能有点错误。因为它重用了减速器中的代码作为组合阶段，组合器的输出实际上看起来像：

<What,3> <do,2> <you,2> <mean,1> <by,1> <Object,1>
<know,1> <about,1> <Java,3>
<is,1> <Virtual,1> <Machine,1>
<How,1> <enabled,1> <High,1> <Performance,1>

在这个例子中，您可以完全不使用合并，最终结果将是相同的。在有多个映射器和归约器的场景中，合并只是对映射器的输出做一些本地聚合，归约器做最后的聚合。

如果您运行时没有合并，您仍然会在reduce阶段获得基于关键字的分组。联合收割机将在地图输出上为您做一些本地聚合。

reduce的输入将只是映射器编写的输出，但按键分组。