有多少Spark节点我应该使用Mesos或纱?

gcxthw6b  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(260)

我目前运行的集群有4个spark节点和1个solr节点。我想快速地将集群扩展到20个节点,然后扩展到大约100个节点。我只是不知道在多大的集群大小,这将是有意义的使用Mesos或Yarn?当我的节点少于100个时,添加Yarn或Mesos有意义吗?
谢谢

sg24os4d

sg24os4d1#

mesos和yarn可以扩展到数千个节点而没有任何问题。
工作负载决定了要使用什么,如果您的工作负载只有与spark或hadoop相关的作业/任务,那么yarn将是更好的选择,否则如果您有docker容器或其他要运行的东西,那么mesos将是更好的选择。
使用mesos还有许多其他的优点和缺点,请在这里的比较中找到它们。
如果您只运行spark,那么spark standalone cluster将提供与其他集群管理器几乎相同的功能。
如果您希望与其他应用程序一起运行spark,或者使用更丰富的资源调度功能(例如队列),那么yarn和mesos都提供这些特性。其中,yarn可能会预装在许多hadoop发行版中。
如果您只有不到100个节点,并且您不打算与spark一起运行任何其他应用程序,那么spark standalone cluster将是一个更好的选择,因为您不会过度杀戮。
这同样取决于您想要使用的功能,比如队列或调度程序,比如fair scheduler,那么yarn/mesos就有意义了(是否使用这些功能取决于您对spark集群的操作、工作负载以及集群的繁忙程度。)

相关问题