val conf=new sparkconf().setappname(“testapp”)val sc=新sparkcontext(conf)当我使用sc.makerdd(seq(1,2,3,4,5,6,7,8,9,10))时,会出现以下提示。.我想知道为什么会这样,以及如何正确使用makerdd。
xa9qqrwz1#
我也试过了,很管用。
val spark = SparkSession .builder() .appName("Spark example") .master("local") .getOrCreate() val seqExam = Seq(1,2,3,4,5,6,7,8,9,10) val employeeRDD = spark.sparkContext.makeRDD(seqExam) employeeRDD.foreach { x => println(x) }
ux6nzvsh2#
你可以用另一种方法,即使用 parallelize :
parallelize
val spark = SparkSession .builder() .appName("SparkParallelizeExample") .master("local[2]") .getOrCreate() val seqExam = Seq(1,2,3,4,5,6,7,8,9,10) val employeeRDD = spark.sparkContext.parallelize(seqExam) employeeRDD.foreach { x => println(x) }
2条答案
按热度按时间xa9qqrwz1#
我也试过了,很管用。
ux6nzvsh2#
你可以用另一种方法,即使用
parallelize
: