java.lang.noclassdeffounderror:org/apache/hadoop/fs/fsdatainputstream,在本地模式下使用spark

gwo2fgha  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(331)

我以前在Yarn簇模式中使用过spark,到目前为止还不错。
但是,我想以“本地”模式运行它,所以我创建了一个简单的scala应用程序,通过maven添加spark作为依赖项,然后尝试像普通应用程序一样运行该应用程序。
但是,我在第一行中得到了上面的异常,在这里我尝试创建一个sparkconf对象。
我不明白,为什么我需要hadoop来运行一个独立的spark应用程序。有人能指出这是怎么回事吗。
我的两行应用程序:

val sparkConf = new SparkConf().setMaster("local").setAppName("MLPipeline.AutomatedBinner")//.set("spark.default.parallelism", "300").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer").set("spark.kryoserializer.buffer.mb", "256").set("spark.akka.frameSize", "256").set("spark.akka.timeout", "1000") //.set("spark.akka.threads", "300")//.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") //.set("spark.akka.timeout", "1000")
 val sc = new SparkContext(sparkConf)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题