当前位置: 首页 > 面试题库 >

DataNode无法在Hadoop中启动

谷善
2023-03-14
问题内容

我尝试在Ubuntu 11.04和Java 6 sun上安装Hadoop。我正在使用hadoop 0.20.203
rc1构建。我在使用Java-6-sun的Ubuntu
11.04上反复遇到问题。当我尝试启动hadoop时,由于“无法访问存储”,datanode无法启动。

2011-12-22 22:09:20,874 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
2011-12-22 22:09:20,896 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:455)
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:111)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:354)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:268)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1480)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1419)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1437)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1563)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1573)

我曾尝试从Apache甚至cloudera的0.20分支中升级和降级到几个版本,还尝试再次删除并安装hadoop。但是我仍然遇到这个问题。典型的解决方法(例如删除/
tmp目录中的* .pid文件)也不起作用。有人可以指出我的解决方案吗?


问题答案:

是的,我格式化了namenode,问题出在hdfs- site.xml我复制粘贴的流氓模板的问题中,dfs.data.dirdfs.name.dir指向同一目录位置,从而导致锁定存储错误。它们应该是不同的目录。不幸的是,hadoop文档在这些细微的细节方面还不够清楚。



 类似资料:
  • 我最近以单集群模式将hadoop 3.1.1安装到我的计算机上。之后,以下命令对hdfs-site.xml、yarn-site.xml、core-site.xml、mapred-site.xml和hadoop-env.sh进行了所有配置,没有任何错误 *start-all.sh 下面是yarn-site.xml的代码

  • krish@krish-virtualbox:~$start-dfs.sh 14/10/20 13:16:16警告util.nativeCodeLoader:无法为您的平台加载本机Hadoop库...在适用的情况下使用内置Java类 正在[localhost]上启动名称代码 我只想知道在里面所有的东西是不是都很完美。我在清单中没有看到Datanode。

  • 我刚刚下载了Hadoop-0.20tar并提取了。我设置了JAVA_HOME和hadoop_home。我修改了core-site.xml、hdfs-site.xml和mapred-site.xml。 我开始服务。 我查了日志。上面写着

  • 我已经在Ubuntu15.10VM上以单节点模式安装了Hadoop2.6.0。当我使用命令启动Hadoop时,它全部工作,但当我启动Jps命令时,我查看 31602 NameNode 32453 Jps 32169 NodeManager 32045 ResourceManager I报告以下日志文件 不推荐使用此脚本。而是使用start-dfs.sh和start-yarn.sh 在[localh

  • 我在Windows7中配置Hadoop是从教程中设置单个节点集群开始的。当运行来格式化namenode时,它会抛出类似的异常:当自动强制windows namenode时,我可以打开地址为http://localhost:50070的namenode GUI。 yarn-site.xml