数据节点未启动

vh0rcniy 于 2021-06-03 发布在 Hadoop

关注(0)|答案(3)|浏览(391)

启动hadoop数据节点时遇到问题。我做了所有我能做的研究，但没有一种方法对解决我的问题有帮助。当我尝试使用

hadoop datanode -start

事情就是这样：

root@Itanium:~/Desktop/hadoop# hadoop datanode -start
Warning: $HADOOP_HOME is deprecated.

13/09/29 22:11:42 INFO datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = Itanium/127.0.1.1
STARTUP_MSG:   args = [-start]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_25

************************************************************/

Usage: java DataNode
           [-rollback]
13/09/29 22:11:42 INFO datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at Itanium/127.0.1.1

************************************************************/

root@Itanium:~/Desktop/hadoop# jps
31438 SecondaryNameNode
32013 Jps
31818 TaskTracker
1146 Bootstrap
    31565 JobTracker
    30930 NameNode

root@Itanium:~/Desktop/hadoop#

正如我们所看到的，datanode尝试启动，但随后关闭。一直以来，我在namenode启动方面都遇到了麻烦。我用手动启动来修复这个问题

start-dfs.sh

现在的问题是datanode。我真的很感激你在解决这个问题上的帮助。
还有一个普通问题。为什么hadoop表现出如此不一致的行为。我确信我没有更改任何*-site.xml设置。

hadoop hdfs daemons startup

来源：https://stackoverflow.com/questions/19085978/data-node-does-not-start

3条答案

按热度按时间

jtoj6r0c1#

我也有类似的问题。看看anup发表的评论“似乎是一个名称空间不匹配的问题”，我找到了一个参考，告诉我如何解决我的问题。http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#caveats
我查看了数据节点没有启动的从节点上的日志文件。他们都有以下例外：

2014-11-05 10:26:14,289 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /scratch/hdfs/data/srinivasand: namenode namespaceID = 1296690356; datanode namespaceID = 1228298945                                                                                                                                   
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)                                                                                    
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)                                                                           
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385)                                                                                         
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:299)                                                                                                
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)                                                                                         
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)                                                                                  
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)

修复此异常解决了问题。
修复方法是a）删除dfs数据目录。使用namenode-format重新格式化。b）更新版本文件，使两个命名空间ID匹配。
我能够使用选项b），并且datanodes在那之后成功地启动了。
导致此问题的错误报告记录在：https://issues.apache.org/jira/browse/hdfs-107

赞(0）回复(0）举报 2021-06-03

yws3nbqq2#

使用此命令 hadoop datanode -rollback

赞(0）回复(0）举报 2021-06-03

vfhzx4xs3#

我曾经遇到过同样的问题，结果50010端口被其他应用程序占用，停止应用程序，重新启动hadoop

赞(0）回复(0）举报 2021-06-03