停止正在运行的spark应用程序(databricks interactive cluster)

ve7v8dk2  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(223)

我正在使用一个交互式集群的databricks。如果我查看他们的管理用户界面,只会列出一个“应用程序”。当我试图杀死它时,我总是收到这样的信息
http错误405访问/app/kill/时出现问题。原因:

Method Not Allowed

最终的结果是我不得不重新启动整个集群。我使用了他们的“集群池”特性,这样就减少了等待时间。但我还是要等一分钟才能回去工作。
我需要重新启动应用程序的原因是将新的jar交换到spark环境中。否则,当我反复使用addjar()时,我会遇到一些恼人的jar地狱问题(class not found错误等)。
为什么databricks在其“交互式”集群中一次只列出一个应用程序?为什么databricks没有办法停止一个应用程序并在其位置启动另一个应用程序(而不重新启动整个集群)?
当我们被迫无缘无故地多等一分钟时,这会影响开发效率。使用spark已经很难有成效了。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题