hadoop次要节点的问题

bqucvtff  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(243)

我是新来的 hadoop . 当我跑的时候 wordcount 测试项目,一切正常。但是,我无法访问 JobTrackerhttp://localhost:50030 . 事实上,当我拿到 secondary node 日志文件,我收到异常消息:

java.io.IOException: Bad edit log manifest (expected txid = 3: [[21,22], [23,24]
[8683,8684], [8685,8686], [8687,8688], [8689,8690], [8691,8692], [8693,8694], [8695,8696], [8697,8698], [8699,8700]]...
....
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:438)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:540)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:395)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$1.run(SecondaryNameNode.java:361)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:415)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:357)
    at java.lang.Thread.run(Thread.java:745)

顺便说一句,我跑的时候 jps ,我明白了 53745 JobHistoryServer 77259 Jps 更新:这是我的配置
core-site.xml ```


hadoop.tmp.dir
/usr/local/Cellar/hadoop/hdfs/tmp
A base for other temporary directories.


fs.default.name
hdfs://localhost:9000

在 `hdfs-site.xml` ```
<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
     </property>
 </configuration>
``` `mapred-site.xml` ```
<configuration>
       <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9010</value>
       </property>
 </configuration>

在我的生活中什么都没有 yarn-site.xml

llycmphe

llycmphe1#

如果您使用的是最新版本的hadoop,那么job tracker将不可用。job tracker被替换为 Resource Manager 以及 History Server .
如果要访问以前的工作详细信息,请转到 http://hostname:19888 . 这是作业历史记录服务器的web ui地址。
请参考hadoop集群设置以了解更多详细信息。

相关问题