Map Reduce编程中reducer中的洗牌和排序阶段的目的是什么？

Question

在Map Reduce编程中,Reduce阶段包含了shuffling、sorting和Reduce三个子部分。分拣是一件代价高昂的事情。

Map Reduce编程中reducer中的洗牌和排序阶段的目的是什么？

Answer 1

首先，shuffling是将数据从映射器转移到还原器的过程，所以我认为很明显，还原器必须这样做，否则，它们就不能有任何输入（或者每个映射器的输入）。洗牌可以在地图阶段完成之前开始，以节省一些时间。这就是为什么当映射状态还不是100%时，您可以看到大于0%（但小于33%）的reduce状态。

排序为reducer节省了时间，帮助它轻松区分新的reduce任务何时启动。简单地说，当排序后的输入数据中的下一个键与前一个键不同时，它只是启动一个新的reduce任务。每个reduce任务都接受键-值对的列表，但它必须调用reduce（）方法，该方法接受键-列表（值）输入，因此它必须按键对值分组。如果输入数据在map阶段进行预排序（本地），并在reduce阶段进行合并排序（因为reducer从许多映射器获取数据），那么这样做是很容易的。

您在其中一个答案中提到的分区是一个不同的过程。它确定map阶段的输出（键、值）对将在哪个还原器中发送。默认分区器使用对键进行哈希以将它们分发到reduce任务，但您可以重写它并使用自己的自定义分区器。

这个Yahoo教程（存档）是这些步骤的一个很好的信息来源。

下面是一个很好的图形表示（shuffle在本图中称为“copy”）：

请注意，如果指定零个还原器(setNumReduceTasks(0))，则根本不执行洗牌和排序。然后，MapReduce作业在map阶段停止，而map阶段不包括任何类型的排序（因此即使是map阶段也更快）。

更新：既然你正在寻找更官方的东西，你也可以阅读汤姆怀特的书“Hadoop：权威指南”。这里是你问题的有趣部分。
Tom White自2007年2月以来一直是Apache Hadoop的提交者，并且是Apache软件基金会的成员，所以我想它是相当可信和官方的...