使用以下简单的方法： spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 3g --executor-cores 1 --num-executors 1 examples/jars/spark-examples_2.11-2.4.7-amzn-0.jar 1000 我可以在hadoop Jmeter 板上看到“vcores used”大于“vcores total”。
怎么会这样？
1条答案
按热度按时间lrl1mhuk1#
这是因为默认的资源计算器使用内存作为唯一的单元，并忽略核心设置。
看这个：
使用默认资源计算器（defaultresourcecalculator）时，仅基于内存分配资源。
…还有这个：
defaultresourcecalculator在进行计算时只考虑内存。这就是默认情况下在capacityscheduler中执行分配时忽略cpu需求的原因。所有分配的数学运算都简化为只检查资源请求所需的内存和在特定调度周期中查看的节点上可用的内存。