为amazonemr手动拆分和压缩输入

gblwokeq  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(158)

而不是使用 hadoop-lzo 为了索引我的lzo输入文件,我决定简单地将它分成一个块,用lzo压缩的块将接近128mb(因为它是amazon发行版[1]上的默认块大小)。
提供的输入已经被拆分并压缩到接近默认hdfs块大小的大小(从集群性能的Angular )有什么问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题