如何解决hadoop配置期间datanode日志中的错误?

uttx8gqw  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(397)

我在windows系统中安装了hadoop。只有namenode和资源管理器服务正在运行。使用jps cmd时,datanode、secondarynamenode和nodemanager守护进程等其他服务不可见。在datanode日志中抛出以下错误;
错误:

2019-09-27 11:38:04,881 ERROR datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:231)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2776)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2733)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2877)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2901)
2019-09-27 11:38:04,881 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2019-09-27 11:38:04,881 INFO datanode.DataNode: SHUTDOWN_MSG:

有人能给我一个解决办法吗?

ny6fqffe

ny6fqffe1#

这是因为dn中挂载的磁盘出现故障。
首先,您可以检查数据节点中已装入磁盘的状态(任何不正常、反渗透或损坏的磁盘)
cmd:cat/etc/fstab或mount
如果有多个磁盘出现问题(取决于dfs.datanode.failed.volumes.allocated值),则数据节点将关闭。
这里,根据上面的日志:
配置的卷:1,失败的卷:1
因此,dn中没有活动磁盘。它的关闭。
注:
我们可以通过hdfs-default.xml中的dfs.datanode.failed.volumes.tolerated控制dn中的挂载磁盘
它定义了在datanode停止提供服务之前允许失败的卷数。任何卷故障都将导致datanode关闭。默认情况下,其值为零

相关问题