ApacheImpala-用于查询的类似Yarn的cpu使用率报告(在cloudera上)

xkftehaa  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(302)

我们将Yarn和 Impala 放在同一个cloudera集群上,Yarn利用率报告和Yarn历史服务器提供了更多有价值的信息,如Yarncpu(vcores)和内存使用情况。
对于impala是否存在类似的情况,在这里我可以获取每个查询的cpu和内存使用率,并作为cloudera集群的一个整体。
确切地说,我想知道有多少vcore是利用了它的cpu分配。
例如,一个impala查询需要10秒来执行一个查询,假设它使用了4个vcore和50mb的ram,那么我如何找出使用了4个vcore。
有没有任何直接的方法可以从集群中查询到这一点,或者其他任何方法可以查询到如何计算cpu利用率?

gwo2fgha

gwo2fgha1#

您可以通过cloudera manager图表获得大量信息。您可以在他们的网站上找到所有可用指标的概述,或者在创建新图表时单击右侧的帮助符号。
有相当多的 Impala 类别,可能值得你一读。例如,通用impala度量和impala查询度量。例如,查询度量包含以字节度量的“内存使用率”,常规度量包含“impala\u query\u cm\u cpu\u millizes\u rate”和“impala\u query\u memory\u creating\u rate”。这些似乎与您的用例相关,但是请查看它们和链接的站点,看看哪些适合您的用例。
更多信息可从cloudera manager中impala服务的服务页面获得。您可以在此处找到有关此页的更多信息,但例如链接页提到:
“impala查询”页面显示有关正在集群中运行和已经运行的impala查询的信息。您可以按时间段和指定简单的筛选表达式筛选查询。
它还允许您为每个查询显示“threads:cpu time”和“workcpu time”,这也可能与您相关。
这是 Impala 提供的所有信息。

相关问题