hadoop中flume吞吐量的计算

xtfmy6hx  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(519)

如何计算hadoop集群中flume的吞吐量?我是第一次这么做。所有写入hdfs的数据都是通过flume。
我查看了hdfs中的一些图表,发现:在一个1d周期内,跨datanodes写入的总字节数似乎在平均2.2mb/s左右。这是正确的方法吗?

pxq42qpu

pxq42qpu1#

您使用的是hdp或cdh之类的发行版吗?。cdh在通过cloudera manager查看flume代理时提供了一个很好的度量。它提供以下通道:put ratio%,take ratio%source:event receive success per second sink:event drain success per second
我想这就是你要找的

相关问题