spark历史服务器没有立即加载作业,大约有20-30分钟的延迟

o4tp2gmn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(279)

在我们的cdh6.2集群中,spark历史服务器(spark 2.4.0)没有在作业完成后立即加载/显示作业。它只是在一段时间后才会显示出来,比如20-30分钟,有时也需要1个小时(我无法得到确切的行为)。
是否有任何设置/配置,我们可以在完成后立即在spark history server中查看作业(因为作业完成后,yarn只指向历史链接,如果我们转到history server,则表示找不到应用程序)?
提前谢谢!!!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题