在s3n上查询orc文件非常慢

jutyujz0 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(273)

只要我在hdfs上查询我的orc文件，一切都很好，而且非常快，但是当我想查询存储在s3上的数据时，速度非常慢，而且查询无法完成。
我使用的是hive0.12我的create语句如下所示

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...';

在我看来，兽人+presto+s3也有同样的问题（见这里），但我找不到类似的Hive

1条答案

在冷藏方面，s3是一个非常好的储存空间。然而，is并不真正适合hdfs空间。s3数据的移动速度约为50mbps（可能或多或少，但比hdfs慢得多）。您可以在速度和成本之间进行选择。