sparkYarn集群/客户机模式驱动程序和执行器配置

vuktfyat  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(170)

浏览下面的资源以定义spark作业的资源配置,出现了几个问题。

(1) spark-submit --master yarn --driver-cores 5 --executor-cores 5 ...
(2) spark-submit --master yarn --conf spark.driver.cores=5 --conf spark.executor.cores=5 ... (1)和(2)相同吗?如果没有,两者有什么区别?我猜同样的答案也适用于内存配置。
还有,这两者有什么区别吗 spark.executor.memory 以及 spark.executor.pyspark.memory 如果我用pyspark运行我的应用程序?
资源:https://mapr.com/blog/resource-allocation-configuration-spark-yarn/

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题