val conf=new sparkconf（）.setappname（“testapp”）val sc=新sparkcontext（conf）当我使用sc.makerdd（seq（1,2,3,4,5,6,7,8,9,10））时，会出现以下提示。.我想知道为什么会这样，以及如何正确使用makerdd。
xa9qqrwz1#
我也试过了，很管用。
val spark = SparkSession .builder() .appName("Spark example") .master("local") .getOrCreate() val seqExam = Seq(1,2,3,4,5,6,7,8,9,10) val employeeRDD = spark.sparkContext.makeRDD(seqExam) employeeRDD.foreach { x => println(x) }
ux6nzvsh2#
你可以用另一种方法，即使用 parallelize :
parallelize
val spark = SparkSession .builder() .appName("SparkParallelizeExample") .master("local[2]") .getOrCreate() val seqExam = Seq(1,2,3,4,5,6,7,8,9,10) val employeeRDD = spark.sparkContext.parallelize(seqExam) employeeRDD.foreach { x => println(x) }
2条答案
按热度按时间xa9qqrwz1#
我也试过了，很管用。
ux6nzvsh2#
你可以用另一种方法，即使用
parallelize: