如何在web项目中使用spark-mllib

eaf3rand 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(390)

我试着用Spark mllib.jar 在web项目中。我下载了 spark-1.1.0-bin-hadoop2.4 打开拉链。发现一些jar如下：
datanucleus-api-jdi-3.2.1.jar
datanucleus-core-3.2.2.jar
datanucleus-rdbms-3.2.1.jar
spark-assembly-1.1.0-hadoop2.4.0.jar
spark-examples-1.1.0-hadoop2.4.0.jar
然后我用 spark-assembly-1.1.0-hadoop2.4.0.jar 导入分类方法。它可以在java项目中成功运行。但是当我把jar加到 SomeWebProject/web-inf/lib ，结果显示错误消息：

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class

我知道这一点是因为我的web项目javax.servlet类与sparkjar是重复的。我试着删除spark的 javax.servlet . 它仍然不起作用。
你能告诉我怎么弄清楚吗
和
我能用其他的Spark罐吗 mllib 在本地模式下。这个jar太大了，大约 132 mb 我觉得有些是没用的。但我找不到其他可用的jar。这个jar是进口的唯一方法吗 spark-mllib.jar ? p、由于某些原因，我不能在我的服务器上部署spark。所以我不能使用hadoop环境
非常感谢！！！

Java hadoop apache-spark apache-spark-mllib

来源：https://stackoverflow.com/questions/27285178/how-to-use-spark-mllib-in-web-project

1条答案

按热度按时间

stszievb1#

如果您可以使用maven，那么只需将这些依赖项添加到pom.xml中：

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>

赞(0）回复(0）举报 2021-05-30

我来回答

如何在web项目中使用spark-mllib

1条答案

相关问题

热门标签

最新问答