问题是：我在创建集群时有3个datanode，几天前我又添加了两个datanode。
完成后，我运行了平衡器，平衡器很快就完成了，并说集群是平衡的。
但我发现，一旦我将数据（约30mb）放入集群，datanodes就会使用大量带宽（约400mbps）在旧datanodes和新datanodes之间发送和接收数据。
有人能告诉我可能的原因吗？
可能我描述的问题不是很清楚，我会给你看两张图片（来自zabbix），hadoop-02是“旧datanode”之一，hadoop-07是“新datanode”之一。
2条答案
按热度按时间cx6n0qe31#
坚持住！！您的意思是在数据传输过程中带宽被过度利用，或者在放置数据后dns没有平衡，因为balancer用于平衡群集中节点上的数据量。
rbpvctlc2#
如果你指的是网络流量。hdfs使用写管道。假设复制因子为3，则数据流为
客户端-->数据节点\u 1-->数据节点\u 2-->数据节点\u 3
如果数据大小为30mb，则总流量为90mb，外加一点开销（用于创建连接、数据包头、数据包中的数据校验和）
如果你指的是交通流量。我相信目前hdfs在client<-->dn和dn<-->dn之间没有带宽限制。它将使用尽可能多的带宽。
如果您注意到旧数据节点和新数据节点之间有更多的数据流。当某些块以前复制不足时，可能会发生这种情况。添加新节点后，namenode会定期安排从旧dns到其他dns（不一定是新的dns）的复制任务。