我们是否需要在一个名为namenode的节点上启动nodemanager,也就是说,我不会让它成为datanode?我将在计算机上启动namenode和resourcemanager。既然我不会在这台机器上启动datanode,我想我也不需要启动nodemanager?感谢
a8jjtwal1#
这取决于你。您可以选择在未安装datanode服务的节点上保留nodemanager,在这种情况下,如果由该nodemanager执行,数据将通过网络传输以执行任务。但是如果您想减少主节点的负载,那么应该避免在其上安装如此繁重的进程(datanode和nodemanager)。在许多情况下,它提高了集群的性能。
mwyxok5s2#
理论上,您可以在没有datanode的机器上使用nodemanager,但这在实际中并不有用。hadoop有一个基本规则:数据局部性,所以如果在运行nodemanager的机器上没有datanode,那么系统会将数据移动到计算所需的节点上,这会减慢进程。理想情况下,nodemanager和datanode都应该在计算机上运行。希望这有帮助
2条答案
按热度按时间a8jjtwal1#
这取决于你。您可以选择在未安装datanode服务的节点上保留nodemanager,在这种情况下,如果由该nodemanager执行,数据将通过网络传输以执行任务。
但是如果您想减少主节点的负载,那么应该避免在其上安装如此繁重的进程(datanode和nodemanager)。在许多情况下,它提高了集群的性能。
mwyxok5s2#
理论上,您可以在没有datanode的机器上使用nodemanager,但这在实际中并不有用。
hadoop有一个基本规则:数据局部性,所以如果在运行nodemanager的机器上没有datanode,那么系统会将数据移动到计算所需的节点上,这会减慢进程。
理想情况下,nodemanager和datanode都应该在计算机上运行。
希望这有帮助