Hadoop 如何在多个数据节点之间分发数据和映射减少任务

Question

我是hadoop的新手，我阅读了许多hadoop mapreduce和hdfs的页面，但仍然无法明确一个概念。

也许这个问题是愚蠢的或不寻常的，如果真是如此的话。我的问题是，假设我在hadoop中为一个大小为1GB的文件创建了一个单词计数程序，其中map函数将把每一行作为输入，输出作为键值对，reduce函数将输入作为键值，并简单地迭代列表，计算单词进入该文件的总次数。

现在我的问题是，因为这个文件存储在多个数据节点的块中，地图缩减在每个数据节点上并行执行。假设我的文件存储在两个数据节点上，第一个数据节点上的文件包含单词“hadoop”5次，第二个数据节点上的文件包含单词“hadoop”7times.So基本上整个地图缩减过程的输出将是：

hadoop:7

hadoop：5

因为两个map-reduce函数在两个不同的数据节点上并行执行，但输出应该是两个文件上“hadoop”字的计数之和，即：hadoop:13

那么，我将如何实现这一点，或者我在这里遗漏了一些概念。请帮助我，我很难理解这个概念，如果我无法让你理解我想问的问题，我很抱歉。

Answer 1

我认为你完全错过了化简器的概念，因为这正是它的功能，化简器输入将是一个键（在本例中为hadoop）和一个与此键（7和5）关联的值列表，所以你的化简器程序将迭代值列表并进行求和，然后hadoop，13。

Answer 2

您可能已经阅读了许多Hadoop Mapreduce和HDFS的页面，但是您似乎错过了在地图之后和Redize之前包含阶段的页面，这被称为随机播放和排序。

基本上，它所做的是将所有映射器中的数据进行混洗，并将具有相同键的行按排序顺序发送到相同的还原器。因此，在您的例子中，hadoop 7和hadoop 5，都将使用相同的缩减器，将其缩减为hadoop 12（而不是13！）

您可以在 Web 上轻松获取有关随机播放和排序的更多信息。也有这样的问题，你可以阅读。