当前位置: 首页 > 知识库问答 >
问题:

如何解决Hadoop配置期间datanode日志处的错误?

简成仁
2023-03-14

我在windows系统中安装了Hadoop。只有namenode和资源管理器服务正在运行。使用jps cmd时,其余服务(如DataNode、SecondaryNameNode和NodeManager守护进程)不可见。在DataNode日志中抛出以下错误;

错误:

2019-09-27 11:38:04,881 ERROR datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:231)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2776)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2733)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2877)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2901)
2019-09-27 11:38:04,881 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2019-09-27 11:38:04,881 INFO datanode.DataNode: SHUTDOWN_MSG:

有人能给我一个解决办法吗?

共有1个答案

谭思博
2023-03-14

这是由于DN中挂载的磁盘出现故障。

首先,可以在数据节点中检查挂载磁盘的状态。(任何不健康、RO或损坏的磁盘)

cmd:cat/etc/fstab或mount

我们可以通过hdfs-default.xml中的dfs.datanode.failed.volumes.solerated来控制DN中的挂载磁盘

它定义在datanode停止提供服务之前允许失败的卷数。任何卷故障都将导致datanode关闭。默认情况下,它的0

 类似资料:
  • 我有一个有 7 列的 csv 文件 问题是我试图设置日期时间索引,但它不起作用可能是因为日期和时间是两个单独的列。 代码如下: 错误如下: C:\用户\sydgo\Anaconda3\_locE:/教程/pandas_libsTraceback(最近调用最后一次):文件“C:\用户\sydgo\Anaconda3\lib\站点包\熊猫\核心\索引\_loc”,第2442行,get_loc返回自我。

  • 我喜欢将oracle数据库脚本设置为在出现任何数据库或操作系统问题时失败。 我一直在考虑迁移到SQLCL,但我用于检测和触发非数据库问题回滚的SQL*Plus方法在SQLCL中失败了,我想知道是否有人有其他解决方案(或好的解决方法)。 我一直在使用将任何SP-错误定向到SPERRORLOG,在那里我可以在提交之前检测到它们并决定回滚/分支/继续/警报等。 我抓取了最新的sqlcl(2016年6月s

  • Navicat Monitor 会记录详细的服务器错误和消息,以便跟踪服务器中发生的任何问题。若要配置此设置,请前往“配置”->“日志内务处理”。 你可以指定“每个生成的最大大小”和“保留的最大生成数量”来控制日志的生成保留策略。

  • 是否有一种方法可以将时间戳添加到。pm2/logs中的错误日志中? 我注意到命令显示带有时间戳的聚合日志,但查看日志文件时,只有消息和stacktraces没有日期。

  • 我正在尝试启动我的hadoop应用程序,但是在启动时我在日志文件中看到了这一点,有没有人知道问题是什么? 正在为HDFS创建文件系统://10.170.4.141:9000 java.io.ioException:config()在org.apache.hadoop.conf.configuration(configuration.java:229)在org.apache.hadoop.conf.

  • 问题内容: 我正在尝试使用python plone-devstart.py工具创建一个新的plone环境。我遇到了引导错误。所以我从项目目录中使用了命令bin / python bootstrap.py -d。它(bin / python bootstrap.py -d命令)之前工作正常,但是现在我收到了类似的错误 问题答案: 您已经在站点软件包中安装了fork ,但是您正在尝试安装2.2.0,它