为什么hadoop会丢失节点

piwo6bdm  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(709)

当我运行公共的“hadoopdfsadmin-report”时,我很困惑,因为我可以在那里看到

但是资源管理器,集群度量,表明

为什么会这样?为什么会这样?提前谢谢!

cnjp1d6j

cnjp1d6j1#

resourcemanager中的集群度量显示nodemanager的状态。 hadoop dfsadmin -report 此命令显示datanodes的状态。

b09cbbtk

b09cbbtk2#

你的计算机连接了9个从节点。但有5个从属节点处于活动状态,其余节点处于不正常状态。
不健康状态原因:
hadoopmapreduce提供了一种机制,管理员可以通过该机制配置tasktracker定期运行管理员提供的脚本,以确定节点是否正常。管理员可以通过执行他们在脚本中选择的任何检查来确定节点是否处于正常状态。如果脚本检测到节点处于不正常状态,则必须以字符串错误开头打印一行到标准输出。tasktracker定期生成脚本并检查其输出。如果脚本的输出包含字符串错误(如上所述),则节点的状态将报告为“不健康”,并且节点将在jobtracker上显示为黑名单。不会向此节点分配更多任务。但是,tasktracker将继续运行脚本,因此如果节点再次恢复正常,它将自动从jobtracker上的黑名单节点中删除。在jobtracker的web界面中,管理员可以使用节点的运行状况以及脚本的输出(如果不正常)。自节点正常运行以来的时间也显示在web界面上。
节点丢失原因:
我认为有些块(数据)可能在从属系统中不可用。所以它显示丢失的节点为9。
要从集群中移除死节点,请使用此链接来解除节点的使用

相关问题