如何对hadoop集群进行负载和性能测试?

8qgya5xd  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(399)

有没有工具可以生成一个自动化的场景,其中包含预定义的用户请求增量(运行相同的map reduce作业)和在负载下监视hadoop集群的一些特定度量?我正在寻找理想的东西像loadrunner,但免费/开源工具。
该工具不需要有一个很酷的ui,而是能够记录和保存场景,包括一个渐变和几个用户的集合点(等待其他用户到达某个点并同时执行某些操作)。
我要测试的hadoop发行版是最新的mapr。
搜索互联网并没有给hp loadrunner带来任何好的免费替代品。如果您有过hadoop(特别是mapr)负载测试的经验,请分享您使用过的工具。

inn6fuwd

inn6fuwd1#

您将看到的每个解决方案在总价中都有一个工具商和一个劳动商。有许多开源工具使工具成本降到零,但是人工费太高了,因此您交付的总成本将高于购买人工费较低的商业工具。另外,许多人将性能测试工具视为单独的负载生成,而忽略了监视数据的自动收集和结果分析,您可以将响应时间的增加与资源的相关使用联系起来。当您使用解耦工具时,这是一个费劲的过程,需要花费更长的时间才能完成。
正如您提到的loadrunner,当您被提供一个工具时,您应该将该工具中可用的内容与您所提供的内容进行比较。例如,loadrunner中有java、c、c++和vb接口。您将找到一种方法来使用Map并减少基础设施。比较集成的监视功能(本机/snmp/终端用户和命令行…)以及分析和报告。在不存在能力的情况下,您需要构建能力或在其他地方获取能力。
你还提出了会合的概念。在任何工具中都要小心使用它。除非您有一个非常大的人口,否则在同一时间在同一代码/操作区域中同时发生冲突的几率会非常小。人类是混沌的工具,彼此独立地到达和离开。另一方面,如果你是自动化一个基于时钟滴答声的代理,那么交会就更有意义了。按ip地址查看作业提交日志可以提供一个客观模型,说明有多少个作业同时提交(集合)而有多少个作业同时运行。我审核了很多测试,交会是工具中被滥用最多的一项,导致数千个工程小时浪费在追逐自然使用中永远不会出现的工程鬼魂上。

相关问题