我正在我的ubuntu16机器和两台aws ec2机器上创建3节点hadoop集群。
我的本地机器（ubuntu16）将作为名称节点工作，另外两台aws ec2机器将作为数据节点工作。
我没有什么怀疑。
1） 我是否也需要在datanode（aws ec2机器）上安装hadoop，就像我在name node（我的本地机器）上安装hadoop一样？
2） 我能够在集群中的所有节点之间进行通信（将节点命名为数据节点，反之亦然）。在name node中，我需要在name node machine中添加数据节点public dns，以便我的name node可以将数据传播到我的两个数据节点集群中。。？
请分享您的意见。。！
谢谢
1条答案
按热度按时间332nm8kg1#
hadoop namenode版本应该是所有datanode的精确副本。只有集群才能工作。
如果您使用的是更高版本的hadoop-3.0，那么在workers文件中您必须指定datanode ip或dns。
或
如果您使用的是较低版本的hadoop-3.0，那么在slaves文件中您必须指定datanode ip或dns。