dodhortan沙盒可以用作单节点hadoop集群吗

tpgth1q7  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(274)

我喜欢学习hadoop多节点的设置和安装,通过参考上面的教程,我了解到单节点集群环境可以用作多节点集群的节点
http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/
目前我正在学习使用horton沙盒的hadoop,我们可以使用沙盒系统作为单节点环境吗?
如果没有,沙盒和传统hadoop集群安装有什么区别

pgpifvop

pgpifvop1#

沙盒映像(来自hortonworks和cloudera)为用户提供了一个预先配置的开发环境,其中包含所有已经可用和安装的常用工具(pig、hive等)。因为映像是一个“系统”,所以它的设置使得hadoop集群是单节点的:也就是说,所有东西(hdfs、hadoop map reduce等)都是该映像的本地部分。这是一个巨大的好处,任何建立hadoop集群的人都会告诉你!它允许您以很少的操作开销启动和运行。
但是,这些沙盒没有提供真实的集群行为,因为您只有一个节点。但是还有其他的可能性-比如vagrant和docker-可以让你这么做(我自己没有试过)。
您共享的大数据处理程序链接似乎是关于将这些独立的、固有的单节点“集群”组合起来,这样您就有了更现实的东西。但我想,设置这样的服务,使Yarn,Zookeeper和其他服务不被复制,是一个不小的挑战。

相关问题