需要帮助确定hbase读取性能的瓶颈吗

kjthegm6  于 2021-06-09  发布在  Hbase
关注(0)|答案(0)|浏览(654)

我正在对hbase的读取性能进行一些测试,特别是在我们的环境中单个区域服务器可以支持多少个get。区域服务器有24个核心和48g。我们使用8g的jvm堆和25g的bucket cache(offheap)运行。提供的数据完全在bucket缓存中。
每个客户机都会从整个密钥空间中连续地执行一个“hbase获取列表”,我运行了2个客户机访问regionserver,发现cpu使用率约为200%,其中4个客户机的cpu使用率约为400%,8个客户机的cpu使用率约为800%,但是,当我将客户机的数量增加到16个时,cpu在800到1000%之间徘徊(总体使用率约为40%的cpu-24核)。
我不认为网络和内存是瓶颈,我也不知道为什么hbase没有在16个客户端上使用更多的cpu。




周五15:00左右的峰值是8个客户端的测试,网络速度为100mb/s,而周五18:00之后的峰值是16个客户端的测试,网络速度降至~75mb/s
我们尝试将hbase.ipc.server.read.threadpool.size设置为50,将hbase.regionserver.handler.count设置为300。
如果不考虑网络/内存,我预计cpu使用率会增加,但事实并非如此。有什么能帮你找出瓶颈的方法吗?hbase中是否有其他可以调整的参数?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题