如何修改hadoop2.6中每个节点的任务数？我发现我们必须使用 yarn.nodemanager.resource.memory-mb 以及 yarn.nodemanager.resource.cpu-vcores .
我只希望每个节点使用1个任务。我应该配置xml文件来实现这一点吗？具体的配置是什么？。
或者我们只是提到 mapreduce.job.maps 到1？
如果我使用hadoopversion1.2，我需要在mapred站点中修改这个参数吗 mapred.tasktracker.map.tasks.maximum 值为1？
1条答案
按热度按时间jobtbby31#
在mr1中，mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum属性指定每个tasktracker有多少map和reduce插槽。
这些特性在Yarn中已不复存在。相反，yarn使用yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores，它们控制每个节点上的内存量和cpu，这两种内存和cpu都可用于map和reduce。
基本上：yarn没有tasktracker，只有普通的nodemanager。因此，没有更多的Map槽并减少槽分离。一切都取决于使用/需要的内存量
使用web ui，您可以获得许多监视/管理信息：
名称节点-http://:50070/资源管理器-http://:8088/