如何在java中使用eclipse在windows上本地运行spark

ipakzgxi  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(323)

我正在测试mllib对svm的实现。我想使用eclipse在windows本地运行他们的java示例。我已经下载了spark 1.3.1,它是为Hadoop2.6预先构建的。当我尝试运行示例代码时,我得到:

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

为了能够在此设置中运行示例代码,我应该更改什么?

jhkqcmku

jhkqcmku1#

使用maven在windows eclipse中运行sparkproject:-
创建scala项目并声明scala对象。然后将项目转换为maven(您应该为此安装了m2eclipse插件—您可以在eclipse市场中找到它)。
将创建pom.xml.,请添加以下依赖项,

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.0</version>
</dependency>

现在,用一些示例spark代码构建您的项目(不应该有任何错误)
现在按照下面的设置,
创建以下目录结构:“c:\hadoop\u home\bin”(或者用您喜欢的任何内容替换“c:\hadoop\u home”)
下载以下文件:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
将步骤2中的文件放入步骤1中的“bin”目录。
将“hadoop.home.dir”系统属性设置为“c:\hadoop\u home”(或在步骤1中创建的任何目录,末尾不带“\bin”)。注意:您应该在spark代码的开头声明这个属性。
system.setproperty(“hadoop.home.dir”,“c://users//desktop//hadoop\u home”)

zsbz8rwp

zsbz8rwp2#

创建以下目录结构:“c:\hadoop\u home\bin”(或者用您喜欢的任何内容替换“c:\hadoop\u home”)
下载以下文件:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
将步骤2中的文件放入步骤1中的“bin”目录。
将“hadoop.home.dir”系统属性设置为“c:\hadoop\u home”(或在步骤1中创建的任何目录,末尾不带“\bin”)。

相关问题