spark作业,并在vm上安装centos

6kkfgxo0  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(225)

我想在intellij idea(windows)中运行spark作业,在centos 7(虚拟机)上安装spark
以下是我在windows上运行spark的java代码:

import org.apache.log4j._
import org.apache.spark._

object RatingsCounter {
  def main(args: Array[String]) {
   Logger.getLogger("org").setLevel(Level.ERROR)

   val sc = new SparkContext("local[*]", "RatingsCounter")

   val lines = sc.textFile("D:\\.....\\......\\abc.data")

   val ratings = lines.map(_.toString.split("\t")(2))

   val results = ratings.countByValue()

   val sortedResults = results.toSeq.sortBy(_._1)

   sortedResults.foreach(println)
  }
}

如果在centos虚拟机上安装了spark,如何在intellij中运行相同的代码。
附言:
Spark2.4.5
hadoop 2.7版
注意:我不想使用jar文件和spark提交。我已经这么做了。我想在intellij中运行它,只想在intellij中看到结果。
感谢您的帮助。
提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题