apachespark—当没有作业运行时,dataproc集群是否可以自动缩小到0个工作线程?

z9gpfhce  于 2021-05-18  发布在  Spark
关注(0)|答案(2)|浏览(341)

我知道最好的做法是在不使用的时候删除一个集群,在运行作业的时候启动一个集群,但是我想知道我们是否可以让一个“集群”全天候运行,但是在没有作业运行的时候(或者在一段时间没有活动之后)关闭所有工作人员,然后在作业启动时再次自动放大?

9lowa7mx

9lowa7mx1#

不支持此操作。对于单节点群集,可以只有零工人,但他们不能有自动缩放策略。自动缩放群集必须至少有2个主工作进程。

l2osamch

l2osamch2#

我不是hadoop的Maven,但顺便说一句,它是用于分布式存储和处理的。事实上,如果你缩放到0,你就失去了你的存储空间。
在这种情况下,最好是自动删除集群并自动创建集群(以terraform为例)。

相关问题