我正在尝试将HDFS从1.2.1升级到2.6版本。但是,每当我运行start-dfs.sh-upgrade命令时,我都会得到以下错误:
hduser@cluster1-nn:/usr/local/hadoop2/hadoop-2.6.0/etc_bkp/hadoop$$hadoop_new_home/sbin/start-dfs.sh-upgrade
15/05/17 12:45:58警告util.nativeCodeLoader:无法为您的平台加载本机Hadoop库...在适用的情况下使用内置Java类
nn:启动数据阳极,登录到/var/hadoop/logs/hadoop-hduser-datanode-cluster1-nn.out DN1:启动数据阳极,登录到/var/hadoop/logs/hadoop-hduser-datanode-cluster1-dn1.out DN2:启动数据阳极,登录到/var/hadoop/logs/hadoop-hduser-datanode-cluster1-dn2.out
正在启动辅助名称编号[0.0.0.0]
错误:请指定--hosts或--hostnames选项之一,而不是同时指定两者。
如果你们中的专家遇到了这样的错误,请告诉我。
我在新安装了Hadoop2.7.1的Arch Linux上也遇到了同样的问题。我不确定我的情况是否和你的一样,但我的经验应该会有帮助。我只是注释掉/etc/profile.d/hadoop.sh
中的hadoop_slaves=/etc/hadoop/slaves
行,然后重新登录。访问HDFS和运行流作业对我都有效。
原因是特定于ARCH的脚本/etc/profile.d/hadoop.sh
声明了$hadoop_slaves
环境变量。在start-dfs.sh
中,使用--hostnames
参数调用hadoop-daemons.sh
。这会混淆libexec/hadoop-config.sh
。
您可能希望键入echo$hadoop_slaves
作为hadoop用户。如果有非空输出,请检查您的.bashrc
和/或其他shell启动脚本。希望能有所帮助:)
我在Windows7中配置Hadoop是从教程中设置单个节点集群开始的。当运行来格式化namenode时,它会抛出类似的异常:当自动强制windows namenode时,我可以打开地址为http://localhost:50070的namenode GUI。 yarn-site.xml
经过一番努力,我最终成功地在伪分布式节点中使用了hadoop,和工作正常(和) 昨天,我尝试用以下方法重新启动、等: 给出以下输出: Namenode似乎不愿意再启动了...几秒钟后Jobtracker就死了。 mapred-site.xml:
以下是相关信息 /etc/hadoop/conf/hdfs-site.xml /etc/hadoop/conf/core-site.xml sudo ls-lr/var/lib/hadoop-hdfs/cache
我刚刚下载了Hadoop-0.20tar并提取了。我设置了JAVA_HOME和hadoop_home。我修改了core-site.xml、hdfs-site.xml和mapred-site.xml。 我开始服务。 我查了日志。上面写着
由于我正处于Hadoop的学习阶段,我遇到了Hadoop单集群设置的问题。我使用的是Hadoop2.9.0和Java8。我已经完成了设置,如下所示 现在hdfs-site.xml中dfs.replication的值为1。现在我正在做start-all.sh如果我检查状态- 现在我有stop-all.sh和如果我将hdfs-site.xml中的dfs.replication的值更改为0(有些人提到这
AL01299205:Hadoop用户$/usr/local/cellar/hadoop/3.2.1/sbin/start-dfs.sh 正在启动[AL01299205.Local]上的namenodes AL01299205.Local:错误:无法设置namenode进程24897的优先级