在Amazon EMR上运行mahout项相似性作业时出现Java堆空间错误

Question

我试图在亚马逊EMR集群（m3.2xLarge，10个核心节点）中包含约2.5亿对（行）的输入上运行mahout项相似性作业。在运行相似性作业时，我面临Java堆大小错误。

我试图解决这个问题的事情。

>

通过在引导操作中定义名称节点来增加名称节点的堆大小。像这样-
--bootstrap-action s3：//elasticmapduce/bootstrap-action/configure-daemons--args--namenode-heap-size=8192

使用AWS推荐的内存密集型引导（s3://elasticmapreduce/bootstrap actions/configurations/latest/memory-intensive）

手动设置MAHOUT\u HEAPSIZE。

这个问题没有解决。有什么方法可以解决它吗？

Answer 1

很少需要更改EMR上的默认namenode守护进程堆大小，更可能的是需要调优的容器/任务jvm(http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html).

在进行进一步更改之前，您需要确定哪些进程实际上受到堆错误的影响，然后进行相应的调整。

如果它确实是容器/任务jvm堆，那么可以使用configure hadoop进行调整(http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop).

另外，请删除内存密集型引导操作，它仅适用于AMI 1.x。