我提交以下配置的YarnSpark应用程序
conf.set("spark.executor.cores", "3")
conf.set("spark.executor.memory", "14g")
conf.set("spark.executor.instances", "4")
conf.set("spark.driver.cores", "5")
conf.set("spark.driver.memory", "1g")但是，在yarn资源管理器ui上 vCores used = 5 ，我希望vcores过去是17（（4x3）+5=17），即执行者是12，驱动者是5。但它总是显示等于执行者+驱动者=5。
请帮我理解这个！提前谢谢
1条答案
按热度按时间zpqajqem1#
在spark配置文档中，您将看到以下内容：
spark属性主要分为两类：一类是与部署相关的，如“spark.driver.memory”、“spark.executor.instances”，这类属性在运行时通过sparkconf编程设置时可能不受影响，或者行为取决于您选择的集群管理器和部署模式，建议通过配置文件或spark提交命令行选项进行设置；另一个主要与spark运行时控件有关，比如“spark.task.maxfailures”，这种属性可以任意设置。
大多数你想从你的电脑上设置的设置
spark-submit命令行，而不是在代码中。无论如何，这通常是一个更好的实践，这样您就可以使用不同的参数启动作业，而不必重新编译它。你会想要这样的东西：