我正在尝试使用以下配置提交spark scala作业:
spark-submit --class abcd --queue new --master yarn --executor-cores 1 --executor-memory 4g --driver-memory 2g --num-executors 1
为队列分配的空间是700gb,它占用了整个700gb并正在运行。有没有办法限制到100gb?
提前谢谢。
我正在尝试使用以下配置提交spark scala作业:
spark-submit --class abcd --queue new --master yarn --executor-cores 1 --executor-memory 4g --driver-memory 2g --num-executors 1
为队列分配的空间是700gb,它占用了整个700gb并正在运行。有没有办法限制到100gb?
提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!