当前位置: 首页 > 知识库问答 >
问题:

单机上Hadoop中的Datanode失败

韶弘壮
2023-03-14

我使用以下教程在ubuntu 12.04 LTS上设置和配置了sudo节点hadoop环境:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#formatting-the-hdfs-filesystem-via-the-namenode

键入hadoop/bin$start-all.sh后,一切正常,然后我检查了Jps,然后NameNode、JobTracker、TaskTracker、SecondaryNode已经启动,但DataNode没有启动...

如果有人知道如何解决这个问题,请告诉我…

共有1个答案

弘柏
2023-03-14

我解决了...

java.io.IOException:不兼容的名称空间

如果您在数据阳极的日志(logs/hadoop-hduser-datanode-.log)中看到错误java.io.ioException:Incompatible namespaceIDs,那么您可能受到问题HDFS-107(以前称为HADOOP-1212)的影响。

解决方法2:更新问题数据阳极的namespaceID。感谢Jared Stehler的以下建议。我自己还没有测试它,但请放心试用,并将您的反馈发送给我。这个解决方法是“微创的”,因为您只需在有问题的数据阳极上编辑一个文件:

停止DataNode编辑/current/version中的namespaceID的值以匹配当前NameNode的值重新启动DataNode如果您按照我的教程中的说明操作,则相关文件的完整路径如下:

nameNode:/app/hadoop/tmp/dfs/name/current/version datanode:/app/hadoop/tmp/dfs/data/current/version(后台:dfs.data.dir默认设置为${hadoop.tmp.dir}/dfs/data,在本教程中我们将hadoop.tmp.dir设置为/app/hadoop/tmp)。

以下站点明确给出了该问题的html" target="_blank">解决方案:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#java-io-ioexception-incompatible-namespaceids

 类似资料:
  • krish@krish-virtualbox:~$start-dfs.sh 14/10/20 13:16:16警告util.nativeCodeLoader:无法为您的平台加载本机Hadoop库...在适用的情况下使用内置Java类 正在[localhost]上启动名称代码 我只想知道在里面所有的东西是不是都很完美。我在清单中没有看到Datanode。

  • 下面是未启动的Datanode的日志: 2012-08-03 17:47:33,873 INFO org.mortbay.log:Stopped SelectChannelConnector@0.0.0.0:50075 2012-08-03 17:47:33,980 INFO org.apache.hadoop.IPC.server:停止50020上的服务器2012-08-03 17:47:33,

  • 问题内容: 我尝试在Ubuntu 11.04和Java 6 sun上安装Hadoop。我正在使用hadoop 0.20.203 rc1构建。我在使用Java-6-sun的Ubuntu 11.04上反复遇到问题。当我尝试启动hadoop时,由于“无法访问存储”,datanode无法启动。 我曾尝试从Apache甚至cloudera的0.20分支中升级和降级到几个版本,还尝试再次删除并安装hadoop

  • 我已经在Ubuntu15.10VM上以单节点模式安装了Hadoop2.6.0。当我使用命令启动Hadoop时,它全部工作,但当我启动Jps命令时,我查看 31602 NameNode 32453 Jps 32169 NodeManager 32045 ResourceManager I报告以下日志文件 不推荐使用此脚本。而是使用start-dfs.sh和start-yarn.sh 在[localh

  • 环境:运行在VMware工作站下。