hadoop归档工具的Yarn压缩输出

rdrgkggo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(282)

我使用hadoop归档来减少hadoop集群中的文件数量,但是为了保留数据,我希望尽可能长地保留数据。然后问题是hadoop归档没有减少文件夹大小(我的文件夹有多种类型的文件,既有大小文件,又不适合使用序列文件)。
我用了一些选项,比如 -D mapreduce.compress.map.output=true -D mapred.map.ouput.compress.codec=org.apache.hadoop.io.compress.GzipCodec 但这不是工作。
有人知道压缩hadoop归档文件输出的方法吗,或者建议我用什么方法来达到这两个目标(压缩大小和减少文件数量)。
如有任何信息,我们将不胜感激。非常感谢。

uubf1zoe

uubf1zoe1#

您可以使用mapred compress并在压缩目录上运行har

相关问题