spark scala内存管理问题

wwodge7n  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(232)

我正在尝试使用以下配置提交spark scala作业:

spark-submit --class abcd --queue new --master yarn --executor-cores 1 --executor-memory 4g --driver-memory 2g --num-executors 1

为队列分配的空间是700gb,它占用了整个700gb并正在运行。有没有办法限制到100gb?
提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题