为什么yarn/hdinsight限制运行500个yarn应用程序?

a9wyjsp7  于 2021-06-28  发布在  Hive
关注(0)|答案(0)|浏览(153)

我曾多次遇到yarn中的错误(hdinslight linux cluster):-

org.apache.hadoop.security.AccessControlException: Queue root.joblauncher already has 500 applications, cannot accept submission of application

根据ms站点,分辨率为:-

Wait until currently pending jobs have completed before submitting more jobs

我觉得每个集群500个作业的限制(不幸的是,在hive的情况下也包括templeton作业)太严格了。这意味着每个集群大约可以运行200-250个Hive作业。如果我们需要运行更多,我们需要生成另一个集群。这很奇怪。这意味着无论我在yarn集群中有多少个节点,无论每个节点有多少内核和内存,我只能运行500个作业。一定有办法解决这个问题。否则,这就违背了分布式计算的理念,在分布式计算中,我们可以通过向集群添加更多节点来增加容量。就像即使集群中有10000个节点,我也只能在集群上运行500个作业。有什么解决办法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题