hadoop jobtracker内存使用率增加v

ctzwtxfj 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(369)

当我打开jobtrackerhost:50030/jobtracker.jsp
我可以看到堆大小，如：cluster summary（堆大小为1.17 gb/7.99 gb）
它还在继续增加。3-5天后生长至高峰。
我们有两个hadoop集群。在集群a上，堆大小在峰值附近停止增加。在集群b上，堆大小继续增加，3-5天后，jobtracker停止过程结束了）
现在我真想知道为什么堆的大小继续增加？是正常还是有问题？
谢谢，新松

hadoop mapreduce apache bigdata data-analysis

来源：https://stackoverflow.com/questions/21692893/hadoop-jobtracker-memory-usage-increasingv

1条答案

按热度按时间

rseugnpd1#

@vefthym，我认为mapred-site.xml文件不完整，因为hadoop集群是由cloudera管理器管理的。
以下是mapred-site.xml中的内容

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://xxxx.com:8020</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>
</configuration>

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop jobtracker内存使用率增加v

1条答案

相关问题

热门标签

最新问答