以不同方式设置每个执行器内存(spark standalone)

niknxzdl 于 2021-05-30 发布在 Hadoop

关注(0)|答案(0)|浏览(159)

在我们的集群中，datanodes没有相同的硬件规格。例如：

dnode1 -> 4  GB RAM 
dnode2 -> 15 GB RAM
dnode3 -> 30 GB RAM

提交spark作业时，要使用每个datanode，我必须将spark.executor.memory设置为每个datanode都能承受的值。但是，我想知道是否有一种方法可以独立地设置每个执行器进程的内存使用率？例如：

Executor in dnode1 will use around 4 GB RAM
Executor in dnode2 will use around 15 GB RAM
Executor in dnode3 will use around 30 GB RAM

目前还没有任何答案，快来回答吧！

相关问题