我编译了hadoop 2.2.0 x64并在集群上运行它。当我执行hadoop作业-list
或hadoop作业-list all
时,它会像这样抛出一个NPE:
14/01/28 17:18:39 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
14/01/28 17:18:39 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
Exception in thread "main" java.lang.NullPointerException
at org.apache.hadoop.mapreduce.tools.CLI.listJobs(CLI.java:504)
at org.apache.hadoop.mapreduce.tools.CLI.run(CLI.java:312)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.mapred.JobClient.main(JobClient.java:1237)
在hadoop webapp上,比如job历史(我打开job历史服务器)。它显示没有作业正在运行,也没有作业完成,尽管我正在运行作业。
请帮我解决这个问题。
我在尝试将mapreduce迁移到纱线时遇到了这种情况。原来我在映射站点中缺少了指令。xml指示map REDUCT使用纱线:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
问题内容: 我有非常简单的代码: 我通过list.add(0,d)得到ConcurrentModificationException异常。所以总的来说,这是因为sublist()造成的。我很困惑,因为在sublist()的情况下,文档中说: 返回列表由该列表支持,因此返回列表中的非结构性更改会反映在此列表中, 反之亦然 。 您能解释一下渔获量在哪里吗? 问题答案: 这是原始列表的简单视图(请参阅此
我有一个Spark作业抛出“java.lang.OutOfMemoryError:GC开销限制超出”。 作业正在尝试处理4.5g的文件。 我尝试了以下spark配置:
我的目标是在Cloudera集群上运行一个简单的MapReduce作业,该作业从虚拟HBase数据库读取并写入HDFS文件。 一些重要的注意事项:-我以前在这个集群上成功运行过MapReduce作业,这些作业将HDFS文件作为输入,并写入HDFS文件作为输出。-我已经将用于编译项目的库从“纯”HBase替换为HBase-cloudera jars-当我以前遇到这类问题时,我只是简单地将库复制到分布
问题内容: 是否有可能对于给定的构建管道作业(在构建中或在构建操作中具有下游作业的下游作业为“ Trigger build on other projects”),我可以获得一个树状列表视图,该视图显示 了调用了哪个管道作业N ,调用顺序中的子项作业(顺序或并行), 并且该管道的子build#运行build#。 对于例如:如果我的工作管道有这样的观点: 那么,在此处输入图片说明 我期望得到类似于(
问题内容: 每次我运行该程序时,都会出现以下错误: 每当有人被螺栓击中时,我都试图降低其健康状况。如果一个外星人的健康状况良好,也应该予以销毁。同样,螺栓也会被破坏。这是我的代码: 在上线情况。为了澄清,和都是字典列表。 我究竟做错了什么? 问题答案: 您不应从正在循环的列表中删除项目。而是创建一个副本: 和 循环访问列表时修改列表会影响循环: 从要遍历两次的列表中删除项目会使事情变得更加复杂,从
我有一个简单的控制器,它接受文件路径的JSON字符串,并对这些文件运行spring批处理作业。为了实现spring batch,我遵循了一个教程,该教程最终将在https://github.com/michaelhoffmantech/patter-batch-loader中生成代码。 继续下去,直到它抛出StackOverflowError。 任何关于改变什么来修复此问题的建议或帮助都将不胜感激