spark安装与log4j冲突

bvpmtnay  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(478)

我正在构建一个运行不同批处理过程的批处理引擎。对于其中一些过程,我不需要使用spark。为此,我使用一个着色插件来构建一个“uber”jar,其中包含jar中的所有依赖项。
当我必须运行一个需要spark的进程时,我运行spark submit命令。但是jar中的log4j与我服务器上的spark安装相冲突。我该怎么解决这个问题?

SPARK_MAJOR_VERSION is set to 2, using Spark2
Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl.Log4jLoggerFactory loaded from file:/usr/hdp/2.6.5.1217-7/spark2/jars/slf4j-log4j12-1.7.16.jar). If you are using WebLogic you will need to add 'org.slf4j' to prefer-application-packages in WEB-INF/weblogic.xml: org.slf4j.impl.Log4jLoggerFactory
iecba09b

iecba09b1#

将项目拆分为两个子项目—一个子项目带有spark代码,另一个子项目用于其他目的。

相关问题