我使用的是8节点hadoop集群，namenode内存使用率显示为7%。我觉得这个集群将达到namenode内存的最大限制。当前群集存储大小为5.6tb，名称节点堆大小为4gb。块大小为128mb。计算hadoop集群（使用单个namenode）可以拥有的最大数据节点数的方法是什么？
wn9m85ua1#
namenode内存使用量与块的数量成正比，而且指导原则是100万块占用1 gb内存…我计算了5.6 tb和128 mb的块大小，您可以拥有大约50万块，甚至不需要复制（您可以重新计算）。所以，我的结论是你有足够的内存，除非有很多小文件。。。
1条答案
按热度按时间wn9m85ua1#
namenode内存使用量与块的数量成正比，而且指导原则是100万块占用1 gb内存…我计算了5.6 tb和128 mb的块大小，您可以拥有大约50万块，甚至不需要复制（您可以重新计算）。所以，我的结论是你有足够的内存，除非有很多小文件。。。