livy从哪里检索spark工作日志?

7gcisfzg  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(172)

我知道我们可以通过livyrestapi检索spark作业日志

curl -X GET "http://localhost:8998/batches/1/log"

我有以下问题:
在livy服务器或spark服务器上哪里可以找到这些日志以进行调试?我找不到任何正在livy/logs或spark/logs下编写的日志。这份文件也没有说太多相同的内容。
当批处理终止时,这些日志会发生什么变化?我注意到,在一段时间后,会话被livy终止,您不能使用前面提到的api调用来获取有关先前提交的作业的信息。这不利于调试。
谢谢。如有任何回应,我们将不胜感激!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题