spark/k8s:如何在集群部署模式下对特定worker运行spark submit

nzk0hqpo  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(260)

在集群部署模式下运行时,我正在尝试使我的驱动程序在特定的worker上运行
这些是我的工人-

spark-admin-worker-578dcd5d4d-8j86b                               1/1     Running            0          8m25s   10.200.0.14    k8s-node2   <none>           <none>
spark-admin-worker-578dcd5d4d-g576r                               1/1     Running            0          8m25s   10.200.0.8     k8s-node2   <none>           <none>
spark-admin-worker-578dcd5d4d-mlc4j                               1/1     Running            0          8m25s   10.204.0.33    k8s-node1   <none>           <none>
spark-admin-worker-578dcd5d4d-mxnst                               1/1     Running            0          8m25s   10.204.0.3     k8s-node1   <none>           <none>

我试着运行几个配置,这是一个组合,实际上运行成功,但我不能使它坚持我想要的工人

spark-submit --deploy-mode cluster  --conf spark.driver.bindAddress=0.0.0.0 --conf spark.driver.host=10.200.0.14 --class org.apache.spark.examples.SparkPi /spark/examples/jars/spark-examples_2.11-2.4.4.jar 1000

深入研究spark源代码,它看起来像是随机选择了一个worker,而没有检查任何配置的参数

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题