使用hadoop 3.1.2进行spark make分发

qyzbxkaa  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(413)

正在尝试使用当前的hadoop 3.1.2(在centos 7.5上)从源代码构建spark 2.4.3:

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1

使用hadoop3.1.0 jars生成tarball,但是

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1.2

结果生成了一个针对hadoop2.6.5的版本。 mvn help:evaluate -Dexpression=hadoop.version -Phadoop-3.1.2 似乎表明3.1.2不是一个有效的标签,但它是hadoop当前的稳定版本,在maven central中是一个标签。
是否存在未满足的依赖关系阻止了 make-distribution 从脚本中找到它需要的东西?

hgncfbus

hgncfbus1#

这些轮廓在Spark源的pom文件中定义。hadoop的最高版本是3.1.0。

相关问题