我们正在使用 Spark 在 YARN 我们正在使用 Autosys 作为调度器，我们的默认部署模式是集群。我注意到spark提交日志（不是驱动程序或执行程序日志，而是 yarn.Client 日志（如下所示）被重定向到 STDERR 即使是这样 INFO 信息。

可能是因为违约 log4j 但我希望能够覆盖它并重定向所有 INFO 邮件收件人 STDOUT 以及 WARN 以及以上级别 STDERR . 我按照链接上其他问题的答案，我能够使用log4j文件重定向 INFO 邮件收件人 STDOUT 以及 WARN 及以上 STDERR 在驱动程序和执行程序日志上，但是我希望通过由 YARN 让我们的 Autosys 日志被正确重定向到日志文件以及错误文件。
我试着设置 PATH , CLASSPATH 以及 HADOOP_CLASSPATH 变量指向我更新的log4j文件所在的位置，并在spark submit配置选项中查找控制yarn日志的配置，但我找不到任何配置。
谢谢。感谢您的帮助。