在v4 s3存储桶上使用s3a协议时请求错误

wpcxdonn  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(394)

我正在尝试从法兰克福地区的s3存储桶下载文件。
最初在Spark2.2.1和Hadoop2.7.5中遇到这个问题。
我收到这个信息:
com.amazonaws.services.s3.model.amazons3异常:状态代码:400,aws服务:amazon s3,aws请求id:f6eb301e99c9bc7a,aws错误代码:null,aws错误消息:错误请求,s3扩展请求id:
设置

sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com")

什么都没变。
跑步 ./hadoop-2.7.5/bin/hadoop fs -ls s3a://frankfurt-bucket-name 返回完全相同的错误。
这是我的core-site.xml

<configuration>
<property>
  <name>fs.s3a.endpoint</name>
  <value>s3.eu-central-1.amazonaws.com</value>
</property>
</configuration>

如何使hadoop使用v4签名?

piwo6bdm

piwo6bdm1#

升级hadoop和spark版本解决了这个问题。

相关问题