Hivellap低vcore分配

cld4siwp  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(299)

问题陈述:
配置单元llap守护进程不使用群集vcpu分配。80-100个内核可用于llap守护进程,但仅使用16个。
总结:
我正在azure上测试HiveLLAP,使用2个D14u v2头节点、16个D14u v2工作节点和3个a系列zookeeper节点(d14(v2=112gb内存/12vcpu)
16节点集群中的15个节点专用于llap
分布为hdp 2.6.3.2-14
目前,该集群共有1.56tb可用ram和128vcpu。llap守护程序分配了适当的内存量,但llap守护程序总共只使用16VCPU(每个守护程序1个vcpu+滑块1个vcpu)。
配置:
我的相关配置如下:
hive.llap.daemon.num.executors=10(每个节点12个可用vcpu中的10个)
每个容器的最大Yarn直径-8
其他:
我一直在对集群进行负载测试,但无法让更多的vcpu参与这个过程。如有任何想法或见解,我们将不胜感激。

muk1a3rh

muk1a3rh1#

资源管理器ui将只显示查询协调器和滑块的核心和内存分配,llap中的每个查询协调器占用1个核心和分配的最小内存(tez.am.resource.memory.mb)。要通过hdp 2.6.3版本的llap服务检查实时内核使用情况,请执行以下步骤:
ambari->hive->quick links->grafana->hive llap overview->总执行槽

相关问题