nosuchmethoderror

ubbxdtey  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(520)

我试图创建一个流上下文,但它一直在creating streamingcontext行中抛出异常这是我的代码

val spark = SparkSession
      .builder()
      .master("local[*]")
      .getOrCreate()

val sc = spark.sparkContext
val ssc = new StreamingContext(sc, Minutes(15))

这是堆栈跟踪

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.classForName(Ljava/lang/String;)Ljava/lang/Class;
    at org.apache.spark.streaming.scheduler.JobGenerator.liftedTree1$1(JobGenerator.scala:52)
    at org.apache.spark.streaming.scheduler.JobGenerator.<init>(JobGenerator.scala:51)
    at org.apache.spark.streaming.scheduler.JobScheduler.<init>(JobScheduler.scala:55)
    at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:184)
    at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:76)
    at vn.fpt.fplay.kafka.StreamConsumer$.main(StreamConsumer.scala:19)
    at vn.fpt.fplay.kafka.StreamConsumer.main(StreamConsumer.scala)

我到处都找遍了,但找不到这个错误是什么?有人知道吗?任何帮助都将不胜感激。

dy2hfwbg

dy2hfwbg1#

正如堆栈跟踪所说 org.apache.spark.streaming.scheduler.JobGenerator (spark streaming中的类)正在尝试调用方法 org.apache.spark.util.Utils (Spark芯等级)
有两个原因。
spark core不会添加到项目依赖项中。
spark core和spark流媒体库之间的版本不匹配
检查您的sbt/maven并尝试添加或更改到合适的版本。

相关问题