错误：Java堆空间

Question

在Ubuntu中，当我运行hadoop示例时：

$bin/hadoop jar hadoop-examples-1.0.4.jar grep input output 'dfs[a-z.]+' 

$echo $HADOOP_HEAPSIZE
2000

在日志中，我得到的错误为：

信息映射。JobClient：任务Id：尝试\u 201303251213\u 0012\u m\u000000 \u 2，状态：失败错误：Java堆空间13/03/25 15:03:43信息映射。JobClient：任务Id:trunt\u 201303251213\u 0012\u m\00000 1\u 2，状态：FAILED Error:Java heap space13/03/25 15:04:28 INFO mapred。JobClient：作业失败：#个失败的映射任务超出了允许的限制。FailedCount：1。LastFailedTask:task\u 201303251213\u 0012\u m\u000000 java。io。IOException：作业失败！位于组织。阿帕奇。hadoop。映射。JobClient。在org上运行作业（JobClient.java:1265）。阿帕奇。hadoop。示例。格雷普。在org上运行（Grep.java:69）。阿帕奇。hadoop。util。ToolRunner。在org上运行（ToolRunner.java:65）。阿帕奇。hadoop。示例。格雷普。main（Grep.java:93）

让我们知道问题出在哪里。

Answer 1

使用Hadoop 2.5.0-cdh5.2.0，我可以更改本地（顺序）java进程的堆大小：

export HADOOP_HEAPSIZE=2900
hadoop jar analytics.jar .....

它起作用的原因是 /usr/lib/hadoop/libexec/hadoop-config.sh

# check envvars which might override default args
if [ "$HADOOP_HEAPSIZE" != "" ]; then
  #echo "run with heapsize $HADOOP_HEAPSIZE"
  JAVA_HEAP_MAX="-Xmx""$HADOOP_HEAPSIZE""m"
  #echo $JAVA_HEAP_MAX
fi

Answer 2

<property>
   <name>mapred.child.java.opts</name>
  <value>-Xmx4096m</value>
</property>

为我工作。

导出HADOOP\u OPTS=“-Xmx4096m”

不起作用

Answer 3

显然，您已经用完了分配给Java的堆大小。所以你应该试着增加它。

为此，您可以在执行hadoop命令之前执行以下操作：

export HADOOP_OPTS="-Xmx4096m"

或者，您可以通过在映射站点中添加以下永久设置来实现同样的效果。xml文件，该文件位于HADOOP\u HOME/conf中：

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>

这会将java堆空间设置为4096 MB（4GB），如果可行的话，您甚至可以先使用较低的值进行尝试。如果这也不起作用，那么如果您的机器支持它，则增加更多，如果不支持，则移动到具有更多内存的机器并在那里尝试。因为堆空间仅仅意味着您没有足够的RAM可用于Java。

更新：对于Hadoop 2，在mapreduce中进行更改。地图Java语言改为选择。