学习之前需要在IDEA上进行scala 环境配置。
在IDEA上用scala语言编写spark程序需要做一些配置,主要有以下几个步骤:
1、在idea上安装scala插件;
2、配置JDK;
3、下载安装scala,并在idea上配置scala SDK;
4、用maven 构建spark工程。
首先如图打开plugins界面
搜索并安装scala插件:
如果搜索框无法搜索,访问marketplace,点击如下图位置,idea会弹出安装scala插件的提示框,点“ok”进行安装。
安装完插件,重启idea。
1、下载scala 2.12.12 版本(scala-2.12.12.zip):
下载地址:https://www.scala-lang.org/download/2.12.12.html
2、解压缩到指定目录,并配置系统环境变量
新建系统变量:SCALA_HOME 值为:D:\scala-2.12.12
将 %SCALA_HOME%\bin 添加到 path中
首先打开Structure for New Projects
先配置jdk:
再配置 scala sdk:
根据序号选择scala 的安装路径:
点击“ok”,配置完成。
根据序号即可创建scala 工程:
创建完工程后,maven 的pom 文件会提示 maven-scala-plugin 和 maven-eclipse-plugin无法解析。
解决办法是直接在<dependencies>中添加这两个插件的依赖,具体如下:
<!-- https://mvnrepository.com/artifact/org.scala-tools/maven-scala-plugin -->
<dependency>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-eclipse-plugin -->
<dependency>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-eclipse-plugin</artifactId>
<version>2.5.1</version>
</dependency>
构建工程的github地址:https://github.com/gallop/bigdata-tutorial/tree/main/spark-train
这样,IDEA上scala的配置就完成了。
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://mp.weixin.qq.com/s/N5lth4DNysECebScKvCMzg
内容来源于网络,如有侵权,请联系作者删除!