纱容器lauch失败异常和mapred-site.xml配置
我的Hadoop集群中有7个节点[每个节点有8GB RAM和4VCPU]，1个Namenode+6个Datanode。
编辑-1@arnon:我根据节点上的硬件配置进行了疯狂的计算，并在我的问题中添加了更新mapred-site和yarn-site.xml文件。但我的应用程序还是会因为同样的错误而崩溃
我的mapreduce应用程序有34个输入拆分，块大小为128MB。
mapred-site.xml具有以下属性：
mapreduce.framework.name = yarn
mapred.child.java.opts = -Xmx2048m
mapreduce.map.memory.mb = 4096
mapreduce.map.java.opts = -Xmx2048m
xml具有以下属性：
yarn.resourcemanager.hostname = hadoop-master
yarn.nodemanager.aux-services = mapreduce_shuffle
yarn.nodemanager.resource.memory-mb = 6144
yarn.scheduler.minimum-allocation-mb = 2048
yarn.scheduler.maximum-allocation-mb = 6144
Exception from container-launch: ExitCodeException exitCode=134: /bin/bash: line 1: 3876 Aborted (core dumped) /usr/lib/jvm/java-7-openjdk-amd64/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx8192m -Djava.io.tmpdir=/tmp/hadoop-ubuntu/nm-local-dir/usercache/ubuntu/appcache/application_1424264025191_0002/container_1424264025191_0002_01_000011/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011
-Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA org.apache.hadoop.mapred.YarnChild 192.168.0.12 50842 attempt_1424264025191_0002_m_000005_0 11 >
/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011/stdout 2>
/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011/stderr
共有1个答案
似乎您分配了太多的内存，您的任务（即使没有查看所有配置）8GB RAM，每个map任务8GB，所有这些都是堆，尝试使用更低的分配2GB和1GB堆或类似的东西
-
我尝试运行这个gradle任务（通过gradlew） 它使用cucmber jvm 并收到此错误 当我从cmd中的同一路径运行同一行时： 更新1： 这个cmd在shell控制台中工作: ./构建/发行版/WebLarge测试/bin/WebLargeTests-f html：构建/报告/cucumber/-f json：构建/报告/cucumber/report.json--胶水com.waze.
-
您好，由于以下错误，我的samza作业容器经常失败： 集装箱发射异常。容器ID：container_1540535314451_0141_01_000021退出代码：1堆栈跟踪：ExitCodeException exitcode=1:at org.apache.hadoop.util.shell.runcommand(shell.java:538)at org.apache.hadoop.uti
-
AGPBI:{“kind”：“error”，“text”：“Android资源链接失败”，“sources”：[{}]，“original”：“error：：AAPT:D:\Android basics kotlin cupcake app starter\app\build\intermediates\processed\u res\debug\out\resources-debug.ap\：错
-
我的项目中出现了以下错误:`Failure:生成失败，出现异常。 > 其中：设置文件'/home/kaizar/music/oreo-fashion-v2.3.0/app/rn_oreo/android/Settings.gradle'行：4 错误：评估设置“rn_oreo”时出现问题。 请访问https://help.gradle.org获取更多帮助
-
最近我在eclipse上建立了一个Minecraft Forge工作区。我在过去用forge（MC1.6.4等等）创建了minecraft MOD，尽管从那以后有了很大的变化。我正在尝试使用Forge1.15.2-31.1.0 mdk和JDK 1.8.0_241进行修改 我创建了一个RunClient。bat文件，用于编译和构建我的项目 它完全编译到98%，然后崩溃。这是我的事故报告： --UPD
-
我在AWS EMR Spark上运行一个应用程序。这里，是spark提交作业- AWS使用纱线进行资源管理。我正在查看指标（下面的屏幕截图），对纱线“容器”指标有疑问。 这里，分配的容器显示为2。但是，我使用了4个节点（3个从1个主节点），所有8个内核CPU。那么，只有2个容器是如何分配的呢？