在centos 7上使用hadoop 2.7.1的iam当hadoop集群包含高可用性时如果活动名称节点失败,它将成为备用节点但是webhdfs不支持高可用性?不是吗向其他活动名称发送get和put请求的替代方法是什么主名称节点失败的节点
3npbholx1#
是的,webhdfs不支持高可用性。这个问题仍然悬而未决。参考hdfs-6371相反,您可以选择httpfs。它与webhdfs restapi和ha-aware相结合。或者,编写自定义实现将请求重定向到活动namenode。
rqqzpn5f2#
webhdfs服务器与namenode在同一进程中运行。因此,您需要运行与webhdfs兼容的代理服务器,这将消除nn故障转移:httpfs-作为hadoop的一部分ApacheKnox-作为hdp发行版的一部分。它们都与webhdfs兼容,所以您不需要更改任何restapi。
2条答案
按热度按时间3npbholx1#
是的,webhdfs不支持高可用性。这个问题仍然悬而未决。参考hdfs-6371
相反,您可以选择httpfs。它与webhdfs restapi和ha-aware相结合。
或者,编写自定义实现将请求重定向到活动namenode。
rqqzpn5f2#
webhdfs服务器与namenode在同一进程中运行。因此,您需要运行与webhdfs兼容的代理服务器,这将消除nn故障转移:
httpfs-作为hadoop的一部分
ApacheKnox-作为hdp发行版的一部分。
它们都与webhdfs兼容,所以您不需要更改任何restapi。