我在kubernetes中配置了如下spark。我通过这个链接设置了-https://testdriven.io/blog/deploying-spark-on-kubernetes/在此配置中是否可以在群集模式下运行作业？还是只能用于地方发展？
g6baxovj1#
是的，你可以。并不是所有的特性都存在，因为这是实验性的，更多的细节可以在这里看到完整的配置和支持：在kubernetes上运行spark群集模式
To launch Spark Pi in cluster mode: $ ./bin/spark-submit \ --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \ --deploy-mode cluster \ --name spark-pi \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances=5 \ --conf spark.kubernetes.container.image=<spark-image> \ local:///path/to/examples.jar
添加关于提交时如何使用和监控作业/应用程序的详细信息，并从以下内容开始：深入查看spark submit，您可以找到图表以及实际如何工作。同样值得用自定义图像检查此信息，但其流程类似于kubernetes spark作业
1条答案
按热度按时间g6baxovj1#
是的，你可以。并不是所有的特性都存在，因为这是实验性的，更多的细节可以在这里看到完整的配置和支持：在kubernetes上运行spark
群集模式
添加关于提交时如何使用和监控作业/应用程序的详细信息，并从以下内容开始：深入查看spark submit，您可以找到图表以及实际如何工作。同样值得用自定义图像检查此信息，但其流程类似于kubernetes spark作业