我使用spark 2.3.0和scala 2.11.8下列库的兼容版本是什么？：hadoop软件aws java软件开发包
lxkprmvk1#
假设您使用的是emr，则可以在aws ui的“emr群集摘要”选项卡上找到相关版本，例如：与emr的每个版本兼容的软件版本也可以在https://docs.aws.amazon.com/emr/latest/releaseguide/emr-release-5x.html.
wz1wpwve2#
所有这些都发布到maven central，因此首先检查spark 2.3版依赖于哪个hadoop版本。上面写着 hadoop-client 2.6.5 . 幸运的是hadoopaws遵循相同的版本控制，所以这是相应的aws依赖项。最后我们可以看到 hadoop-aws 2.6.5 取决于 aws-java-sdk 1.7.4 .
hadoop-client 2.6.5
hadoop-aws 2.6.5
aws-java-sdk 1.7.4
2条答案
按热度按时间lxkprmvk1#
假设您使用的是emr，则可以在aws ui的“emr群集摘要”选项卡上找到相关版本，例如：
与emr的每个版本兼容的软件版本也可以在https://docs.aws.amazon.com/emr/latest/releaseguide/emr-release-5x.html.
wz1wpwve2#
所有这些都发布到maven central，因此首先检查spark 2.3版依赖于哪个hadoop版本。上面写着
hadoop-client 2.6.5. 幸运的是hadoopaws遵循相同的版本控制，所以这是相应的aws依赖项。最后我们可以看到hadoop-aws 2.6.5取决于aws-java-sdk 1.7.4.