如何在stand hadoop Discribuion 0.20.0中并行运行hadoop作业

Question

很长一段时间以来，我一直很头疼，目前我的hadoop集群是这样的，我有40个salve节点要运行，每个从节点我配置了25个映射器和10个简化器，所以我可以同时启动40*25=1000个映射器和400个简化器。好的，现在我有以下工作：

job1:我配置为运行5个映射器和5个简化器job2:我配置为运行20个映射器和10个简化器job3:我配置为运行975个映射器和385个简化器

假设我使用默认的FIFO作业调度，如果我连续提交3个映射器，这3个作业是否可能同时运行？以便最大限度地利用集群？

目前，我测试它，在映射器阶段，似乎1000个映射器可以启动后提交的3个工作，然而，在简化阶段，它变得非常非常慢，所以我等待了很长时间，以上工作都没有完成，似乎他们挂在简化阶段。

我不太明白这其中的内在原因，有没有人能在这个问题上帮助我，让我可以提交工作和睡觉，然后明天早上我看到我所有的工作都按命令完成？我需要使用公平的调度来使它工作吗？？？？

Answer 1

给出解决方案有点难--但我会试着给出方向来找到一个。1.如果集群中有足够的reduce插槽--可能您的问题与并行作业执行无关。至少我一开始就不会怀疑。
2。我建议使用公平调度器--它是专门为并行执行和资源共享而构建的。
3。我建议单独测试每个作业，并且只在每个作业运行良好的并行运行之后测试。
4。减缩速度慢可能有很多原因，但我会检查以下（我所知道的）:
a)映射器和减缩器之间传递（及其序列化）的大量数据。查看文件系统写入计数器来识别它。
b)存在严重的数据倾斜和大量数据到达单个减缩器。