使用配置单元标志合并配置单元中的文件

8e2ybdfx  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(196)

我指的是hive的文件https://cwiki.apache.org/confluence/display/hive/configuration+properties#configurationproperties-hive.merge.mapfiles。
我在insert查询中使用了以下标志

SET hive.merge.mapfiles=true;
SET hive.merge.mapredfiles=true;
SET hive.merge.size.per.task=1000000000;
SET hive.merge.smallfiles.avgsize=1000000000;

但据我观察,文件数量并未减少,我只是想确认我对这些标志的理解是否正确:
前3个标志减少了创建的中间文件的数量。
这个 hive.merge.smallfiles.avgsize 只有在生成多个文件时,标志才会合并小于所述大小的文件。如果每次运行都生成一个文件,则它不会合并数据库中已有的文件。
任何帮助都将不胜感激,谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题