如何在google云平台上提交spark graphx工作示例？

uurv41yg 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(250)

我在google云平台上创建了一个集群，它有五个基于linux的虚拟机（vm）：一个主机和4个工作机。我跑了 ./start-master.sh 在主虚拟机和 ./start-worker.sh [external-master-IP:7077] 在worker vms上。
现在我只想使用./bin/spark submit运行一个graphx示例作业，例如已经在spark中的pagerank算法。
我知道，我读过文档，上面写着这样运行：

./bin/spark-submit \
   --class <main-class> \
   --master <master-url> \
   --deploy-mode <deploy-mode> \
   --conf <key>=<value> \
   ... # other options
   <application-jar> \
   [application-arguments]

我试过这个：

./bin/spark-submit \
  --class org.apache.spark.examples.graphx.PageRankExample \
  --master spark://<external-IP>:7077 \
  --deploy-mode cluster

上面写着：
“错误：缺少应用程序资源。”
我需要添加一个.jar吗？对于这个pagerank示例，我找不到它。
谢谢您。

apache-spark spark-graphx google-cloud-platform google-cloud-dataproc

来源：https://stackoverflow.com/questions/66093159/how-can-i-submit-a-spark-graphx-job-example-on-google-cloud-platform

1条答案

按热度按时间

bakd9h0s1#

是的，您需要在spark submit命令中添加jar：

./bin/spark-submit \
  --class org.apache.spark.examples.graphx.PageRankExample \
  --master spark://<external-IP>:7077 \
  --deploy-mode cluster
  ../examples/jars/spark-examples_[your version].jar

你应该在房间里找到它 examples/jars Spark装置下的文件夹。这个jar被命名为 spark-examples_*.jar :