假设我有一个 spark-job.py
包含要执行的任务的文件。另一个是 spark-submit.py
文件,通过它我想做一个 spark-submit
.
一种方法是 import os
然后运行系统命令:
import os
os.system('./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
--py-files spark-job.py')
不过,我想知道是否有一些Spark实用程序中提供 Python
在这项任务中有什么帮助?我知道这听起来像是一个长期的,因为会有系统依赖性,如Spark安装,这可能无法从内部确定 Python
. 不过,还有别的办法吗?
学校有一个小姨妈班 Java
,所以我想可能有什么 Python
我也是。
暂无答案!
目前还没有任何答案,快来回答吧!