我试图创建一个流上下文,但它一直在creating streamingcontext行中抛出异常这是我的代码
val spark = SparkSession
.builder()
.master("local[*]")
.getOrCreate()
val sc = spark.sparkContext
val ssc = new StreamingContext(sc, Minutes(15))
这是堆栈跟踪
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.classForName(Ljava/lang/String;)Ljava/lang/Class;
at org.apache.spark.streaming.scheduler.JobGenerator.liftedTree1$1(JobGenerator.scala:52)
at org.apache.spark.streaming.scheduler.JobGenerator.<init>(JobGenerator.scala:51)
at org.apache.spark.streaming.scheduler.JobScheduler.<init>(JobScheduler.scala:55)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:184)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:76)
at vn.fpt.fplay.kafka.StreamConsumer$.main(StreamConsumer.scala:19)
at vn.fpt.fplay.kafka.StreamConsumer.main(StreamConsumer.scala)
我到处都找遍了,但找不到这个错误是什么?有人知道吗?任何帮助都将不胜感激。
1条答案
按热度按时间dy2hfwbg1#
正如堆栈跟踪所说
org.apache.spark.streaming.scheduler.JobGenerator
(spark streaming中的类)正在尝试调用方法org.apache.spark.util.Utils
(Spark芯等级)有两个原因。
spark core不会添加到项目依赖项中。
spark core和spark流媒体库之间的版本不匹配
检查您的sbt/maven并尝试添加或更改到合适的版本。