我正在尝试从法兰克福地区的s3存储桶下载文件。
最初在Spark2.2.1和Hadoop2.7.5中遇到这个问题。
我收到这个信息:
com.amazonaws.services.s3.model.amazons3异常:状态代码:400,aws服务:amazon s3,aws请求id:f6eb301e99c9bc7a,aws错误代码:null,aws错误消息:错误请求,s3扩展请求id:
设置
sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com")
什么都没变。
跑步 ./hadoop-2.7.5/bin/hadoop fs -ls s3a://frankfurt-bucket-name
返回完全相同的错误。
这是我的core-site.xml
<configuration>
<property>
<name>fs.s3a.endpoint</name>
<value>s3.eu-central-1.amazonaws.com</value>
</property>
</configuration>
如何使hadoop使用v4签名?
1条答案
按热度按时间piwo6bdm1#
升级hadoop和spark版本解决了这个问题。