无法理解hadoop datanode上的top命令输出

4sup72z8  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(209)

嗨,我刚刚在集群上安装了cloudera manager,1个namenode和4个DataNode,每个数据节点有64 gb ram,24核xeon cpu,16个1t磁盘sas…等等。
我安装了全新的redhat linux并升级到6.5,每个磁盘都被逻辑设置为raid0,因为在阵列控制器上没有可用的jbod选项。
我正在运行一个配置单元查询,下面是数据节点上的顶部命令。我很困惑,想知道一些有经验的hadoop管理员是否能帮助我了解集群是否工作正常。
为什么897个任务中只有一个在运行,而其他896个在睡觉?该配置单元查询有2271个Map器,Map器端只有80%。
平均负载是8.66,我从这里读到,如果你的电脑工作很努力,平均负载应该在核心数左右。我的数据节点工作得够努力吗?
列表项69/70的内存已经被“使用”了,似乎主动Yarn工艺的内存成本相当低,那些64gb的内存怎么会这么容易被用完呢?
这是你的名字 top 输出:

top - 22:50:24 up 1 day,  8:24,  3 users,  load average: 8.66, 8.50, 7.95

Tasks: 897 total,   1 running, 896 sleeping,   0 stopped,   0 zombie
Cpu(s): 32.3%us,  5.2%sy,  0.0%ni, 62.3%id,  0.2%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  70096068k total, 69286800k used,   809268k free,   222268k buffers
Swap:  4194296k total,        0k used,  4194296k free, 61468376k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                   
  439 yarn      20   0 1417m 591m  19m S 193.9  0.9   1:06.12 java                                                                                                                      
  561 yarn      20   0 1401m 581m  19m S 193.2  0.8   0:19.75 java                                                                                                                      
  721 yarn      20   0 1415m 561m  19m S 172.0  0.8   0:08.54 java                                                                                                                      
  611 yarn      20   0 1415m 574m  19m S 127.0  0.8   0:16.87 java                                                                                                                      
  354 yarn      20   0 1428m 595m  19m S 121.4  0.9   0:35.96 java                                                                                                                      
27418 yarn      20   0 1513m 483m  18m S 13.6  0.7  18:26.14 java                                                                                                                       
16895 hdfs      20   0 1438m 410m  18m S  9.6  0.6 103:23.70 java                                                                                                                       
 3726 hdfs      20   0  860m 249m  21m S  1.7  0.4   2:12.28 java

我是相当新的系统管理和任何度量工具或常识将不胜感激!谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题