spark应用程序完成后自动重新启动

nnt7mjpx  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(264)

我正在向aws emr集群提交spark作业:

spark-submit --deploy-mode cluster --master yarn-cluster --jars s3://locationsForDependentJars --driver-cores 5 --driver-memory 80G --class com.main.index s3://location/myapp-0.0.1-SNAPSHOT.jar

aws emr有1+2个节点,实现了自动缩放。应用程序有一些计算要做,里面有一些多线程进程,我们将输出写入s3。
此应用程序运行良好,没有错误或异常。它已经过适当的测试。但有时当我提交的工作,它得到了完成,并重新开始,没有任何理由。我终止了作业并提交了另一个作业,而这次它可以正常工作而不重新启动。我不知道是什么原因造成的。
请帮忙。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题