正在尝试使用当前的hadoop 3.1.2(在centos 7.5上)从源代码构建spark 2.4.3:
./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1
使用hadoop3.1.0 jars生成tarball,但是
./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1.2
结果生成了一个针对hadoop2.6.5的版本。 mvn help:evaluate -Dexpression=hadoop.version -Phadoop-3.1.2
似乎表明3.1.2不是一个有效的标签,但它是hadoop当前的稳定版本,在maven central中是一个标签。
是否存在未满足的依赖关系阻止了 make-distribution
从脚本中找到它需要的东西?
1条答案
按热度按时间hgncfbus1#
这些轮廓在Spark源的pom文件中定义。hadoop的最高版本是3.1.0。