我有一台24 g内存的机器，想运行 hdfs , map-reducer 以及 hbase 但是我想把记忆在 map-reducer 以及 hbase .我想hbase使用一个最大15g的ram和map reducer来获得8g的最大值。实现它的最佳方法是什么？
hdfs
map-reducer
hbase
6ie5vjzr1#
在您的配置文件中，您可以指定每个进程允许有多少。hbase由hbase-env.sh控制mapreduce由mapred-site.xml控制每个文件中都有很好的注解，可以帮助您找到您要查找的确切属性。最棘手的是mapreduce：根据您想要拥有的插槽数量，您必须将您愿意提供给mapreduce的最大内存除以您在机器上可用的插槽数量。因此，如果您只需要一个插槽，可以将最大子内存设置为8gb；2个插槽提供4gb；等。您还可以在mapred-site.xml文件中将子内存设置为final，以便任务本身不能覆盖它。
1条答案
按热度按时间6ie5vjzr1#
在您的配置文件中，您可以指定每个进程允许有多少。
hbase由hbase-env.sh控制mapreduce由mapred-site.xml控制
每个文件中都有很好的注解，可以帮助您找到您要查找的确切属性。
最棘手的是mapreduce：根据您想要拥有的插槽数量，您必须将您愿意提供给mapreduce的最大内存除以您在机器上可用的插槽数量。因此，如果您只需要一个插槽，可以将最大子内存设置为8gb；2个插槽提供4gb；等。
您还可以在mapred-site.xml文件中将子内存设置为final，以便任务本身不能覆盖它。