无法在ubuntu 18.04中启动hadoop datanode hadoop 3.1.1
我最近以单集群模式将hadoop 3.1.1安装到我的计算机上。之后，以下命令对hdfs-site.xml、yarn-site.xml、core-site.xml、mapred-site.xml和hadoop-env.sh进行了所有配置，没有任何错误
*start-all.sh
2018-12-12 14:20:16,129 WARN checker.StorageLocationChecker: Exception checking StorageLocation [DISK]file:/usr/local/hadoop_store/hdfs/datanode
EPERM: Operation not permitted
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:233)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:836)
at org.apache.hadoop.fs.ChecksumFileSystem$1.apply(ChecksumFileSystem.java:508)
at org.apache.hadoop.fs.ChecksumFileSystem$FsOperation.run(ChecksumFileSystem.java:489)
at org.apache.hadoop.fs.ChecksumFileSystem.setPermission(ChecksumFileSystem.java:511)
at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:234)
at org.apache.hadoop.util.DiskChecker.checkDirInternal(DiskChecker.java:141)
at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:116)
at org.apache.hadoop.hdfs.server.datanode.StorageLocation.check(StorageLocation.java:239)
at org.apache.hadoop.hdfs.server.datanode.StorageLocation.check(StorageLocation.java:52)
at org.apache.hadoop.hdfs.server.datanode.checker.ThrottledAsyncChecker$1.call(ThrottledAsyncChecker.java:142)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
2018-12-12 14:20:16,131 ERROR datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:220)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2762)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2677)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2719)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2863)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2887)
2018-12-12 14:20:16,133 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2018-12-12 14:20:16,135 INFO datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at mihiran-Inspiron-5558/127.0.1.1
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
</property>
</configuration>
下面是yarn-site.xml的代码
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux- services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
共有1个答案
我使用以下命令解决错误
sudo chown -R mihiran /usr/local/hadoop_store/hdfs/datanode
-
错误是： 错误:(50，17）错误：没有为startActivities（Intent）方法Activity找到合适的方法。startActivities(Intent[],Bundle）不适用（实际和正式的参数列表长度不同）方法Activity.startActivities(Intent[])方法上下文twrapper.startactivities(Intent[],Bundle）不适用（实
-
问题内容： 我尝试在Ubuntu 11.04和Java 6 sun上安装Hadoop。我正在使用hadoop 0.20.203 rc1构建。我在使用Java-6-sun的Ubuntu 11.04上反复遇到问题。当我尝试启动hadoop时，由于“无法访问存储”，datanode无法启动。 我曾尝试从Apache甚至cloudera的0.20分支中升级和降级到几个版本，还尝试再次删除并安装hadoop
-
问题内容： 升级后去运行jenkins，并获得以下信息： 就是这样…詹金的日志中什么也没有显示…所以很难说很难调试。（它还没有运行，或者类似的东西）。 我应该在其他地方查看另一个日志会有所帮助吗？（我假设对这个问题的回答将是反复的，所以希望有人可以在调试它的道路上开始我的工作） 问题答案： 因此，知道这是一个启动前错误，使我可以进行更深入的研究。 进一步的挖掘使我发现文件中的确切行是指向 看着这个
-
Xampp、mysql、phpmyadmin几天前运行得很好。现在我正遇到这个问题。 Xampp控制面板还提供了以下错误详细信息： 我也试着这样做，这对一些有同样问题的人是有效的 XAMPP-MySQL意外关闭
-
我在Windows7中配置Hadoop是从教程中设置单个节点集群开始的。当运行来格式化namenode时，它会抛出类似的异常：当自动强制windows namenode时，我可以打开地址为http：//localhost:50070的namenode GUI。 yarn-site.xml
-
当我试图在XAMPP localhost中启动Apache模块时，出现了一个问题。当我单击“开始”时，我得到以下信息： 下午3:26:33[Apache]检测到问题！ 下午3:26:33[Apache]端口80正在被PID 1680的“C：\Program Files（x86）\Skype\Phone\Skype.exe”使用！ 下午3:26:33[Apache]Apache不会在没有配置的端口空
-
问题内容： 我是Ubuntu的新手，我在Ubuntu 10.04中安装了XAMPP。当我启动XAMPP时，它说MySQL无法启动。 这是我的终端输出： 然后，当我转到时，我陷入了XAMPP初始屏幕，如果选择语言，则什么也不会发生。 问题答案： 我找到了答案。首先完全卸载lampp，然后重新安装。卸载之前，请使用以下命令停止lampp： 然后使用命令卸载/删除它 然后重新安装。