我们有hadoop集群（带有ambari的hdp2.6.4集群，有5台datanodes机器）
我们正在使用spark流应用程序（spark 2.1 run over hortonworks 2.6.x）
目前的情况是spark流应用程序在所有datanodes机器上运行
也许有些人知道Yarn节点标签，我们可以使Spark流应用程序运行仅在前2个数据节点的机器
因此，例如，如果我们在前2个数据节点机器上配置了Yarn节点标签，那么在其他3个数据节点机器上，spark应用程序将不会运行，因为Yarn节点标签被禁用
我的问题是-yarn节点标签是否也可以禁用最后3个数据节点机器上的hdfs（以避免最后3个数据节点上的hdfs的任何副本）
参考-http://crazyadmins.com/configure-node-labels-on-yarn/
1条答案
按热度按时间fivyi3re1#
不能在数据节点上禁用hdfs。如果您这样做了，那么根据定义，它不是hdfs的一部分，这意味着您基本上是在卸载hdfs服务并将它们从集群中删除。
节点标签控制哪些NodeManager运行代码，而不是datanodes。
您可以让nodemangers在datanodes之外运行，但这会破坏使用hdfs的“将计算移到数据”功能的目的，从而导致作业运行较慢