Hadoop:映射器和缩减器的数量

Question

我在1.1GB文件上运行Hadoop MapReduce多次，使用不同数量的映射器和化简器（例如，1个映射器和1个化简器，1个映射器和2个化简器，1个映射器和4个化简器，...）

Hadoop安装在具有超线程的四核机器上。

以下是按最短执行时间排序的前 5 个结果：

+----------+----------+----------+
|  time    | # of map | # of red |
+----------+----------+----------+
| 7m 50s   |    8     |    2     |
| 8m 13s   |    8     |    4     |
| 8m 16s   |    8     |    8     |
| 8m 28s   |    4     |    8     |
| 8m 37s   |    4     |    4     |
+----------+----------+----------+

1 - 8 个化简器和 1 - 8 个映射器的结果：列 = 映射器行数 = 化简器数

+---------+---------+---------+---------+---------+
|         |    1    |    2    |    4    |    8    |
+---------+---------+---------+---------+---------+
|    1    |  16:23  |  13:17  |  11:27  |  10:19  |
+---------+---------+---------+---------+---------+
|    2    |  13:56  |  10:24  |  08:41  |  07:52  |
+---------+---------+---------+---------+---------+
|    4    |  14:12  |  10:21  |  08:37  |  08:13  |  
+---------+---------+---------+---------+---------+
|    8    |  14:09  |  09:46  |  08:28  |  08:16  |
+---------+---------+---------+---------+---------+

（1）当我有8个映射器时，程序运行速度似乎稍快一些，但是为什么当我增加化简器的数量时，它会变慢呢？（例如，8个映射器/2个转换器比8个映射器/8个转换器快）

（2）当我只使用4个映射器时，它会慢一点，因为我没有使用其他4个内核，对吗？

Answer 1

引用自“Hadoop The Delimited Guide，第3版”，第306页

由于MapReduce作业通常是I / O绑定的，因此拥有比处理器更多的任务以获得更好的利用率是有意义的。

超额订阅的数量取决于您运行的作业的 CPU 利用率，但一个好的经验法则是，任务的因子应比处理器多一到两个（同时计算 map 和 reduce 任务）。

上面引用的处理器相当于一个逻辑核。

但这只是理论上的，很可能每个用例都不同，就像Niels的详细解释一样，需要执行一些测试。

Answer 2

映射器和还原器的最佳数量与许多事情有关。

主要目标是在使用的CPU能力、传输的数据量(在映射器中、在映射器和减速器之间以及在减速器外)和磁盘“磁头移动”之间取得平衡。

如果mapreduce作业中的每个任务都能“以最小的磁头移动”读/写数据，则其工作效果最佳。通常称为“顺序读/写”。但是，如果任务受CPU限制，额外的磁头移动不会影响作业。

在我看来，在这个特定的案例中

• 一个映射器，它需要相当多的CPU周期（也就是说，更多的映射器使它运行得更快，因为CPU是瓶颈，磁盘可以跟上提供输入数据的速度）
• 一种几乎不占用CPU周期且主要受IO限制的减速机。这导致使用单个减速机时，您仍然是CPU受限的，而使用4个或更多减速机，您似乎是IO受限的。因此，4个减速器会导致磁头“移动过多”

处理这种情况的可能方法:

首先完全按照您所做的去做:做一些测试运行，看看对于这个特定的作业和您的特定集群，哪个设置执行得最好。

那么你有三个选择:

• 接受你所拥有的处境
• 将负载从CPU转移到磁盘或相反。
• 获取更大的集群：更多CPU和/或更多磁盘。

移载建议：

> < li>

如果CPU受限且所有CPU都满载，则减少CPU负载:

• 检查代码中不必要的CPU周期。
• 切换到“较低的CPU影响”压缩编解码器：即从GZip到Snappy或“无压缩”。
• 调整工作中映射器/缩减器的数量。

如果 IO 受限，并且您还剩下一些 CPU 容量：

< li >启用压缩:这使CPU工作更努力，并减少磁盘必须做的工作。 < li >尝试各种压缩编解码器(我建议坚持使用Snappy或Gzip...我经常用Gzip)。 < li >调整您工作中映射器/缩小器的数量。