如何在python文件中执行spark提交?

ztyzrc3y  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(288)

假设我有一个 spark-job.py 包含要执行的任务的文件。另一个是 spark-submit.py 文件,通过它我想做一个 spark-submit .
一种方法是 import os 然后运行系统命令:

import os
os.system('./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  --py-files spark-job.py')

不过,我想知道是否有一些Spark实用程序中提供 Python 在这项任务中有什么帮助?我知道这听起来像是一个长期的,因为会有系统依赖性,如Spark安装,这可能无法从内部确定 Python . 不过,还有别的办法吗?
学校有一个小姨妈班 Java ,所以我想可能有什么 Python 我也是。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题