优化Hadoop作业在YARN上的执行

Question

介绍一下--我正在学习Hadoop。我已经在Hadoop（集群）之上实现了机器学习算法，并且只在一个小例子(30MB)上测试了它。

几天前，我安装了Ambari并创建了一个由四台机器组成的小型集群（master和3个worker）。Master有资源管理器和namenode。

现在，我正在通过增加数据量(300MB、3GB)来测试我的算法。我正在寻找一个指针如何调整我的迷你群集。具体来说，我想知道如何确定MapReduce2和纱线设置在安巴里。

如何确定容器的最小/最大内存，容器的保留内存，排序分配内存，映射内存和减少内存？

问题是我的作业在Hadoop上的执行非常慢（集群是一种迭代算法，这使得事情变得更糟）。

• 我为30MB的数据集运行一个作业（我将此作业的块内存设置为8MB，因为数据很小，处理很密集）-执行时间30分钟
• 我运行相同的作业，但将相同的数据集乘以10倍-300MB（相同的块大小，8MB)-执行时间2小时
• 现在相同的数据量--300MB，但块大小为128MB-相同的执行时间，甚至可能大于2小时

HDFS上的块大小是128MB，所以我认为这会导致加速，但事实并非如此。我的疑虑是集群设置（最小/最大RAM大小、map和reduce RAM）不好，因此即使实现了更大的数据局部性，它也无法改善。

这可能是错误设置的结果，还是我错了？

Answer 1

请在Yarn配置中设置以下属性，为每个作业分配33%的最大Yarn内存，可以根据您的要求进行更改。