无法spark提交python脚本来spark docker swarm中运行的多节点集群

oewdyzsn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(248)

我有一个spark多节点集群,由一个主节点和一个工作节点组成,在docker集群中运行。主节点和工作节点在两台不同机器的docker容器中运行。同一个swarm中有第三个docker容器(在spark master节点上运行),它尝试使用以下命令向spark集群提交一个“helloworld”python脚本:spark submit--masterspark://master ip 如spark ui:7077--deploy mode cluster test.py所示
spark submit引发以下异常:
线程“main”org.apache.spark.sparkexception中出现异常:独立集群上的python应用程序当前不支持集群部署模式。在org.apache.spark.deploy.sparksubmit.error(sparksubmit。scala:936)在org.apache.spark.deploy.sparksubmit.preparesubmitenvironment(sparksubmit。scala:273)在org.apache.spark.deploy.sparksubmit.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit)。scala:871)在org.apache.spark.deploy.sparksubmit.dorunmain$1(sparksubmit。scala:180)在org.apache.spark.deploy.sparksubmit.submit(sparksubmit。scala:203)在org.apache.spark.deploy.sparksubmit.dosubmit(sparksubmit。scala:90)在org.apache.spark.deploy.sparksubmit$$anon$2.dosubmit(sparksubmit。scala:1007)位于org.apache.spark.deploy.sparksubmit$.main(sparksubmit.com)。scala:1016)位于org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)
所有容器(主容器、工作容器、提交容器)都位于docker swarm创建的同一网桥和网络上。我不明白为什么spark submit不能识别主url。我真的很感谢一些帮助,因为我刚刚开始学习DockerSwarm和ApacheSpark。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题