我可以使用100 mbps网络交换机进行hadoop小型群集设置吗?

bq8i3lrv  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(274)

我愿意使用virtualbox运行12节点hadoop集群。我有3个真实的机器,每个机器在虚拟箱中运行4个datanodes。我能够连接2台机器使用局域网电线,并能够使一个8节点群集。现在我必须通过交换机连接第三台机器,这样我就可以运行一个12节点的集群。我的namenode的ram是1gb,所有datanode都是512mb。我在所有机器上使用64位core i3处理器,每个节点的容量为8gb。我的问题是我可以使用下面提到的交换机为我的网络拓扑?
http://www.flipkart.com/d-link-5-port-10-100base-t-unmanaged-switch-network/p/itmdffymrfgngzsf?pid=nswdffyguq9ghmf9&ref=1938618c-3737-471e-941b-3e4bb41972fe&srno=t_1&otracker=from-search&query=switch
因为它支持100 mbps的速度。我的预算是有限的,因为这是我的一个大学项目。

oxosxuxt

oxosxuxt1#

它会很慢,但会工作得很好。

zaqlnxep

zaqlnxep2#

您的设置显然不适合典型的hadoop工作负载。它们需要快速的网络和大量的内存。我敢打赌,将所有磁盘和ram放在一台机器上比使用小型集群会获得更好的性能。
但是,如果它是一个只用于教育的项目,并且不打算处理大中型数据,也不关心性能,那么它将起作用。根据您的设置,我不确定100mbs网络是否会成为瓶颈。

相关问题