master.sh spark 3.0.0

iecba09b  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(165)

我目前正在使用spark 2.3.0并升级到spark 3.0.0。
我的群集创建在spark 2.3.0中运行良好,脚本按如下方式调用以启动主节点:

/home/spark-current/sbin/start-master.sh -h 10.1.0.28 --webui-port 8080

但是,当我将其用于spark 3.0.0时,会收到以下错误消息:

failed to launch: nice -n 0 /home/spark-current/bin/spark-class org.apache.spark.deploy.master.Master --host abc.xyz.google.aws.net --port 7077 --webui-port 8080 -h 10.3.2.3 --webui-port 8080

调试时,以下命令在start-master.sh中失败
spark命令:

/usr/lib/jvm/java-1.8.0-openjdk-amd64/bin/java 
- cp /home/spark-current/conf/:/home/spark-current/jars/* 
- Xmx1g org.apache.spark.deploy.master.Master 
--host abc.xyz.google.aws.net 
--port 7077
--webui-port 8080 
 -h 10.3.2.3

关于调试的任何提示,同样的命令在spark2.3.0中运行得非常好,spark3.0.0中的部署选项有没有改变?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题