在集群部署模式下运行时,我正在尝试使我的驱动程序在特定的worker上运行
这些是我的工人-
spark-admin-worker-578dcd5d4d-8j86b 1/1 Running 0 8m25s 10.200.0.14 k8s-node2 <none> <none>
spark-admin-worker-578dcd5d4d-g576r 1/1 Running 0 8m25s 10.200.0.8 k8s-node2 <none> <none>
spark-admin-worker-578dcd5d4d-mlc4j 1/1 Running 0 8m25s 10.204.0.33 k8s-node1 <none> <none>
spark-admin-worker-578dcd5d4d-mxnst 1/1 Running 0 8m25s 10.204.0.3 k8s-node1 <none> <none>
我试着运行几个配置,这是一个组合,实际上运行成功,但我不能使它坚持我想要的工人
spark-submit --deploy-mode cluster --conf spark.driver.bindAddress=0.0.0.0 --conf spark.driver.host=10.200.0.14 --class org.apache.spark.examples.SparkPi /spark/examples/jars/spark-examples_2.11-2.4.4.jar 1000
深入研究spark源代码,它看起来像是随机选择了一个worker,而没有检查任何配置的参数
暂无答案!
目前还没有任何答案,快来回答吧!