hadoopYarn:如何强制一个节点被标记为“丢失”而不是“关闭”?

gcmastyq  于 2021-07-15  发布在  Hadoop
关注(0)|答案(2)|浏览(281)

我正在对节点丢失时发生的应用程序故障进行故障排除,因此我尝试重新创建此场景。但我只能强制节点关闭而不是丢失。我用的是aws电子病历,我试过:
登录节点并执行 shutdown -h now 登录到节点并执行 sudo stop hadoop-yarn-nodemanager 以及 sudo stop hadoop-hdfs-datanode 用一个 kill -9 <pid> 这些会导致节点关闭,但不会导致节点丢失。
如何在aws emr中创建丢失节点?

jrcvhitl

jrcvhitl1#

正如我在评论中所建议的,在节点上关闭接口会导致节点丢失场景,例如: ifconfig eth0 down

pprl5pva

pprl5pva2#

nodemanager是 LOST 意味着resourcemanager已经有一段时间没有接收到来自它的心跳了 nm.liveness-monitor.expiry-interval-ms 毫秒(默认值为10分钟)。您可能想尝试阻止从nm节点到rm的ip的出站流量(如果rm节点运行多个服务,则仅阻止端口),但我不确定如何在aws中实现这一点。可以使用iptables,例如:

iptables -A OUTPUT -p tcp -d <RM's IP> --dport <RM's port> -j DROP

相关问题