有多少个reducer可以同时运行?

5us2dqdw  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(275)

在uni学习大数据,我对mapreduce这个主题有点困惑。我想知道有多少减速器可以同时运行。例如,假设我们有864个减速器,有多少个可以同时运行?

hmae6n7t

hmae6n7t1#

它们都可以同时运行,这取决于集群的状态(健康状况,即无胭脂/坏节点)、集群的容量以及集群的空闲度。如果有其他mr作业在同一集群上运行,那么在864减速机中只有很少的减速机处于运行状态,一旦容量空闲,那么另一组减速机将开始运行。
还有一种情况有时会发生,那就是你的reducer/mapper不断抢占对方的内存,占用了整个内存。在大多数情况下,这项工作都失败了。为了避免这种情况,我们通常设置较少的减速机数量。

kupeojn6

kupeojn62#

一句话的答案是——所有这些都可以同时运行;因为每个reducer在map reduce框架中执行一个独立的任务单元。
现在,有多少实际并行运行,或者更准确地说,它们中的每一个何时被调度运行,取决于许多因素,包括但不限于资源可用性、调度机制、集群配置等。

相关问题