我建立了一个新的hadoop集群 Hortonworks Data Platform 2.5 . 在“旧”群集中（已安装 HDP 2.4 )通过单击链接，我可以通过history server ui查看有关运行spark作业的信息 show incomplete applications :
在新安装中，这个链接会打开页面，但它总是说 No incomplete applications found! （当应用程序仍在运行时）。
我刚看到 YARN ResourceManager UI 根据spark应用程序的状态，在“跟踪ui”列中显示两种不同类型的链接：
应用程序运行：应用程序主机
此链接打开http://master_url：8088/代理/应用程序\u 1480327991583 \u 0010/
应用程序已完成：历史记录
此链接打开http://master_url：18080/历史/应用程序\u 1480327991583 \u 0009/作业/
通过yarn rm链接，我可以看到正在运行的spark应用程序信息，但是为什么我不能通过spark历史服务器ui访问它们呢？有没有什么东西从hdp2.4改成了2.5？
1条答案
按热度按时间3phpmpom1#
我解决了它，这是一个网络问题：由于交换机配置不正确，一些群集主机（spark从属）无法相互连接。当我试着ping对方的主机时，我发现了。
由于所有的主机都可以ping对方的主机的问题消失了，我可以看到活动和完成的工作在我的spark历史服务器用户界面再次！
我没有注意到这个问题，因为ambari代理在每个主机上工作，而且ambari服务器也可以从每个集群主机访问！但是，由于所有主机都可以互相联系，问题就解决了！