如何正确控制容器分配增量?

ej83mcc0  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(335)

假设我想将Yarn容器的默认值从1024MB增加到1200mb,并使所有Yarn容器的内存都是1200mb的倍数(2400mb、3600mb,依此类推)。
我可以使用Yarn参数控制容器的最大尺寸和最小尺寸 yarn.scheduler.minimum-allocation-mb 以及 yarn.scheduler.maximum-allocation-mb 正如hadoop的权威指南中所述。
我相信分配增量和 yarn.scheduler.minimum-allocation-mb (见此答案),直到最近才有人提到 yarn.scheduler.increment-allocation-mb 参数:
请求一个1200mb/1V的容器:最小大小为1gb,增量为500mb->一个1.5gb的容器(向上舍入到下一个增量,最小值用作基数)
在hadoop3.1.1的yarn-defaults.xml中,我没有发现这个参数的任何提及或默认值,更不用说旧版本了。
所以我的问题是:我需要设置 yarn.scheduler.increment-allocation-mb 显示为1200mb yarn-site.xml 这个属性的默认值是多少?
为了补充更多细节,我的hadoop版本是2.6.0-cdh5.9.2(cloudera发行版)。

b09cbbtk

b09cbbtk1#

根据cloudera文档,默认值是512MB。
是的,你需要设置 yarn.scheduler.increment-allocation-mb 以使容器大小成倍增加。

相关问题