googledataproc记录资源不足但没有失败的错误

vkc1a9a2  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(177)

我在googledataproc上运行apachesparkjava作业。作业创建spark上下文,分析日志,最后关闭spark上下文。然后为另一组分析创建另一个spark上下文。持续50-60次。有时我会犯错误 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 反复。
基于对so的回答,当启动作业时没有足够的可用资源时,就会发生这种情况。但这通常发生在工作中期。
我希望dataproc作业出错并退出。但是作业只是记录这个错误。我怎么能让工作失败呢。我怎样才能防止这个错误。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题