我有一张 hive 的table size: 326.8 MB
以及 Number of records: 2,012,402,223
. 由于行数只有10行,所以文件大小不太大,但行数太高。当对这个表执行一个简单的“select查询”时,进程被卡在Map器上。我尝试增加Map器的数量以及以下属性,但它仍然卡住了。
set mapreduce.input.fileinputformat.split.minsize= 2684354;
set mapreduce.input.fileinputformat.split.maxsize= 2684354;
set mapreduce.input.fileinputformat.split.minsize.per.node= 2684354;
set mapreduce.input.fileinputformat.split.minsize.per.rack= 2684354;
请对查询优化提出建议。
暂无答案!
目前还没有任何答案,快来回答吧!