mesos上的spark:如何为driver和executor docker run提供环境变量

yvgpqqbh  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(214)

我们在宇宙的mesos中使用spark框架,通过设置

SPARK_JAVA_OPTS="-Dspark.mesos.executor.docker.image=mesosphere/spark:1.0.8-2.1.0-1-hadoop-2.6".

我们可以通过提交集群模式下的作业

./bin/spark-submit --deploy-mode cluster --class org.apache.spark.examples.SparkPi --master mesos://xx.xx.xx.xxx:xxxx --executor-memory 2G --total-executor-cores 12 --driver-memory 1G https://s3-us-west-2.amazonaws.com/xxxxx/spark-examples_2.11-2.1.0.jar 20000

这成功地在多个mesos节点上作为docker容器启动了spark执行器和任务。
在我们的mesos中,我们有来自lyft的容器范围的角色(https://github.com/lyft/metadataproxy).
现在我想用spark执行器和任务自己的容器角色来运行它们,本质上它需要我们为docker run命令设置一个环境变量iam\u role=。前任:

docker run -d -e IAM_ROLE=xxxx alpine:xxx

如何使用./bin/spark submit启动spark应用程序,并将iam\u角色作为环境变量提供给所有在mesos节点上以docker运行命令开始的执行者和任务。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题