将spark shell转换为spark submit

k2arahey  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(201)

我有这样一个命令,在bask提示符下运行:

spark-shell --driver-memory 8g --executor-memory 64G --total-executor-cores  200 --executor-cores 150 -i /home/Scripts/Ref_script.scala

我正在尝试将其转换为spark submit脚本,但不确定上述选项如何转换为spark submit命令。当我查看spark submit命令时,它有一套完全不同的选项。
另外,在sparkshell中,为什么需要指定executor core?不是所有的“核心”在默认情况下都可用于脚本吗?我怎么知道什么是executor core的好数字?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题