无法使用spark中jar中的log4j.properties

1rhkuytd  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(587)

我的log4j.properties与uber/fat应用程序jar打包在一起,下面是我的spark submit命令

spark-submit --files file:log4j.properties 
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties  
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties  
--class com.myproject.Application --deploy-mode cluster --master yarn s3://myappbucket/application.jar

log4j.properties是打包的,可以在jar中使用,但是当运行应用程序时,它们对执行者不可用,我面临下面的错误,我在这里缺少什么,如何获得对执行者/工作节点可用的log4j.properties,有人能帮我吗
我用过classpath:log4j.properties in spark submit命令看起来执行者没有接受我下面的log4j配置更改

log4j.logger.com.myproject.Application=INFO,appfile 
log4j.appender.appfile=org.apache.log4j.RollingFileAppender
log4j.appender.appfile.File=${base.log.dir}/app.log
log4j.appender.appfile.MaxFileSize=200MB
log4j.appender.appfile.MaxBackupIndex=10

什么都不起作用,所有内容都被打印在stdout和stderr日志上,而不是创建app.log并记录在app.log文件中

5n0oy7gb

5n0oy7gb1#

这个 file: 这意味着它在文件系统中而不是在jar中查找配置文件。你也许想试试 classpath:log4j.properties .

相关问题