在我们的cdh6.2集群中,spark历史服务器(spark 2.4.0)没有在作业完成后立即加载/显示作业。它只是在一段时间后才会显示出来,比如20-30分钟,有时也需要1个小时(我无法得到确切的行为)。
是否有任何设置/配置,我们可以在完成后立即在spark history server中查看作业(因为作业完成后,yarn只指向历史链接,如果我们转到history server,则表示找不到应用程序)?
提前谢谢!!!
在我们的cdh6.2集群中,spark历史服务器(spark 2.4.0)没有在作业完成后立即加载/显示作业。它只是在一段时间后才会显示出来,比如20-30分钟,有时也需要1个小时(我无法得到确切的行为)。
是否有任何设置/配置,我们可以在完成后立即在spark history server中查看作业(因为作业完成后,yarn只指向历史链接,如果我们转到history server,则表示找不到应用程序)?
提前谢谢!!!
暂无答案!
目前还没有任何答案,快来回答吧!