从机上的DiskErrorException-Hadoop多节点
我试图处理来自hadoop的XML文件，在调用XML文件上的单词计数作业时出现以下错误。
13/07/25 12:39:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000008_0, Status : FAILED
Too many fetch-failures
13/07/25 12:39:58 INFO mapred.JobClient: map 99% reduce 0%
13/07/25 12:39:59 INFO mapred.JobClient: map 100% reduce 0%
13/07/25 12:40:56 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000009_0, Status : FAILED
Too many fetch-failures
13/07/25 12:40:58 INFO mapred.JobClient: map 99% reduce 0%
13/07/25 12:40:59 INFO mapred.JobClient: map 100% reduce 0%
13/07/25 12:41:22 INFO mapred.JobClient: map 100% reduce 1%
13/07/25 12:41:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000015_0, Status : FAILED
Too many fetch-failures
13/07/25 12:41:58 INFO mapred.JobClient: map 99% reduce 1%
13/07/25 12:41:59 INFO mapred.JobClient: map 100% reduce 1%
13/07/25 12:42:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000014_0, Status : FAILED
Too many fetch-failures
13/07/25 12:42:58 INFO mapred.JobClient: map 99% reduce 1%
13/07/25 12:42:59 INFO mapred.JobClient: map 100% reduce 1%
13/07/25 12:43:22 INFO mapred.JobClient: map 100% reduce 2%
我在hadoop hduser tasktracker localhost上发现以下错误。本地域。从机上的日志文件。
2013-07-25 12:38:58,124 WARN org.apache.hadoop.mapred.TaskTracker: getMapOutput(attempt_201307251234_0001_m_000001_0,0) failed :
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/hduser/jobcache/job_201307251234_0001/attempt_201307251234_0001_m_000001_0/output/file.out.index in any of the configured local directories
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathToRead(LocalDirAllocator.java:429)
当我运行文本文件时，这工作正常
共有1个答案
看起来你已经解决了这个问题。要么应用补丁，要么下载固定版本，你就可以开始了。
嗯
-
jps输出正确： 在主机上： 在5个从节点上：
-
我正试图在hadoop中设置多节点集群，如何将0个数据阳极作为活动数据阳极，而我的hdfs显示了0个字节的分配 但是nodemanager后台进程正在datanodes上运行 `
-
我正在使用 Jenkins Build Flow 插件来实现并行化。Groovy DSL执行某些文件操作。即使选项设置为在特定从服务器上运行作业，DSL也会在主服务器上运行。这不是故意的。 有人能告诉我如何限制DSL在指定的从机上运行吗？即使有一种方法可以通过DSL访问从属文件系统，也应该有效。 一般来说，我们如何使用Groovy从主机访问节点从Jenkins文件？ 工作区位于从属节点上，但是当我
-
请帮我解决这个问题。
-
我使用以下教程在ubuntu 12.04 LTS上设置和配置了sudo节点hadoop环境：http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#formatting-the-hdfs-filesystem-via-the-namenode 键入hadoop/bin$star
-
我试图建立一个示例Hadoop集群在OpenShift/Kuberentes/Docker（OpenShift 3.5），我遇到了以下问题： 一次只能在Namenode上注册一个Datanode，因为Namenode可以看到同一IP（192.168.20.1）下的所有Datanode。这显然是由于集群中的网络路由 实际示例配置： 名称节点 数据阳极 Namenode日志： 配置（hdfs site