如何从hadoopresourcemanager获取内存使用度量

noj0wjuj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(280)

我有一个dataproc集群在googlecloud中运行,有3个主节点和40个工作节点。我使用hadoop resourcemanager监视应用程序和其他指标,如队列使用情况、内存使用情况、应用程序运行情况等。我无法获取获取群集内存使用情况的命令,因为我使用下面的命令获取dfs使用情况和其他指标。
hdfs管理-报告
请让我知道从资源管理器获取linux服务器内存使用情况的命令,如下面的屏幕截图所示

我也通过下面的链接获得了更多的细节,但这并没有帮助我得到我想要的
https://hadoop.apache.org/docs/current/

uubf1zoe

uubf1zoe1#

我相信信息是通过jmx的/jmx url路径以及metrics api公开的
如果您想远程访问jmx,可以通过yarn-env.sh文件启用它

export YARN_RESOURCEMANAGER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8001"

然后将jconsole指向资源管理器的端口8001,四处搜索所需的值

wz8daaqr

wz8daaqr2#

如果监视( Jmeter 板或警报)是您的最终目标,我建议您研究stackdriver监视。dataproc与之集成,提供了许多集群度量(包括yarn和hdfs)。
对于一次性,您可以: gcloud compute ssh my-cluster-m -c "hdfs admin -report" 您还可以从 clusterMetrics 通过描述集群来创建字段。

相关问题