从主节点请求工作节点的属性

eblbsuwk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(285)

如果我在hadoop集群的主节点上,我可以转到yarn-site.xml并查看属性 yarn.nodemanager.resource.memory-mb 以及 yarn.nodemanager.resource.cpu-vcores ,例如,仅用于主节点。
如果我的工作节点与主节点是不同类型的机器(例如,有更多内存或cpu),那么对于这些相同的属性,它们显然具有不同的值,但据我所知,在主节点上的任何文件中都看不到这些值。
有没有一种方法可以获得工作节点的这些值,而无需连接到其中一台机器并访问其yarn-site.xml?我提出这个问题的原因是,我希望能够以编程方式部署作业,并根据其运行的集群的概要文件进行配置,但这些作业是从主节点提交的(与任务节点相比,主节点通常非常小)。
编辑:此页面描述如何向rmrestapi提交http请求以获取有关集群的信息。在我的 yarn-site.xml 是物业吗

<property>
  <name>yarn.resourcemanager.address</name>
  <value><http address>:8032</value>
</property>

但如果我打字 curl http://<http address>:8032/ws/v1/cluster/metrics -XGET 例如,它响应:

It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.

是否有其他端口我应该尝试,或有一个不同的方式,我应该提出请求?

t1qtbnec

t1qtbnec1#

以下工作:

$ curl http://$(hostname):8088/ws/v1/cluster/metrics
{"clusterMetrics":{"appsSubmitted":0,"appsCompleted":0,"appsPending":0,"appsRunning":0,"appsFailed":0,"appsKilled":0,"reservedMB":0,"availableMB":116736,"allocatedMB":0,"reservedVirtualCores":0,"availableVirtualCores":16,"allocatedVirtualCores":0,"containersAllocated":0,"containersReserved":0,"containersPending":0,"totalMB":116736,"totalVirtualCores":16,"totalNodes":1,"lostNodes":0,"unhealthyNodes":0,"decommissionedNodes":0,"decommissioningNodes":0,"rebootedNodes":0,"activeNodes":1}}

相关问题