hadoop纱单节点性能调优

Question

我在我的Ubuntu VM上有hadoop 2.5.2单模式安装，它是：4核，每个核3GHz；4G内存。这个VM不是用于生产的，只用于演示和学习。

然后，我使用python编写了一个vey简单的map-reduce应用程序，并使用该应用程序处理49个XML。所有这些xmlhtml" target="_blank">文件都很小，每个文件都有数百行。所以，我期待一个快速的过程。但是，big22令我惊讶的是，它花了20多分钟才完成这项工作（该工作的输出是正确的。）。以下是输出指标：

作为hadoop的新手，对于这种疯狂的不合理表现，我有几个疑问：

null

实际上，我在谷歌上搜索过这个问题，我得到了一堆名字，比如Ganglia/Nagios/Vaidya/Ambari。我想知道，哪种工具最能分析“为什么做这么简单的工作要花20分钟？”这样的问题。

即使没有作业在我的hadoop上运行，我也在我的VM上找到了大约100个hadoop进程，如下所示（我使用htop，并按内存对结果进行排序）。这对hadoop正常吗？还是我对某些环境配置不正确？

Answer 1

1. 您不必更改任何内容。

默认配置是针对小型环境进行的。你可以改变它，如果你成长的环境。Ant有很多参数和很多时间进行微调。

但我承认你的配置比通常的测试配置要小。

null

1. 更改nodemanager的可用内存（改为3Gio，以便为系统设置1 Gio)
2. 更改hadoop服务可用的内存（hadoop-env.sh,yarn-env.sh中的-xmx）（系统+每个hadoop服务（namenode/datanode/ressourcemanager/nodemanager)<1 gio。
3. 更改映射任务的内存（512 Mio？）。它越小，就可以在同一时间内执行更多任务。
4. 将yarn.scheduler.minimum-allocation-MB更改为yar-site.xml中的512，以允许内存少于1 Gio的映射器。

我希望这能对你有所帮助。