我们的系统有一个由5台主机组成的集群（例如，数据节点或计算机从机…）。现在，我想分配这些主机的不同数量的还原器，因为一个主机的速度很慢。我们正在使用hadoopYarn。资源管理器（在mapreduce1中称为job tracker）总是将平均数量的reducer分配给5台主机。我是否可以限制特定主机的还原数？例如，我想要的是一个有40个减速机的作业，4台快速计算机有36个减速机（例如，每个主机有9个减速机），而慢速计算机只有4个减速机。
0md85ypi1#
在hadoop集群中拥有异构系统是完全可能的，也是一种常见的现象。通常，随着集群不断变大，从而水平扩展，不同配置的新节点会添加到集群中。在这种情况下，为了使配置适用于特定节点或一组节点，我们需要相应地修改这些主机上的配置。例如，在通过ambari管理集群的hortonworks数据平台中，可以利用主机配置组的概念来实现这一目的。有关更多信息，请参见以下链接：https://docs.hortonworks.com/hdpdocuments/ambari-2.1.1.0/bk_ambari_users_guide/content/_using_host_config_groups.html另请参见下面的链接，其中讨论的是在节点级别增加Yarn容器的数量。在您的案例中也是一样的，这与这里讨论的用例相反：如何增加Yarn节点管理器中的容器数另一个有用的链接：http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
1条答案
按热度按时间0md85ypi1#
在hadoop集群中拥有异构系统是完全可能的，也是一种常见的现象。通常，随着集群不断变大，从而水平扩展，不同配置的新节点会添加到集群中。
在这种情况下，为了使配置适用于特定节点或一组节点，我们需要相应地修改这些主机上的配置。
例如，在通过ambari管理集群的hortonworks数据平台中，可以利用主机配置组的概念来实现这一目的。
有关更多信息，请参见以下链接：
https://docs.hortonworks.com/hdpdocuments/ambari-2.1.1.0/bk_ambari_users_guide/content/_using_host_config_groups.html
另请参见下面的链接，其中讨论的是在节点级别增加Yarn容器的数量。在您的案例中也是一样的，这与这里讨论的用例相反：
如何增加Yarn节点管理器中的容器数
另一个有用的链接：
http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/