hadoop安装和配置:在同一主机上并排安装多个版本

qojgxg4l  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(944)

我们可以在同一个系统上以伪分布式模式安装不同版本的hadoop吗?
实际上,我想探索不同版本的hadoop-1.x和hadoop-2.x的特性,我已经在两个运行linux的不同系统上配置了hadoop-1.x和hadoop-2.x。有没有办法在同一台机器上配置?

ndh0cuux

ndh0cuux1#

是的,可以在同一台主机上并排安装多个版本的hadoop软件。
将不同版本的hadoop软件解压到不同的子目录中。
为不同版本创建单独的配置文件(core-site.xml、hdfs-site.xml、yarn-site.xml等),并将这些文件集保存在单独的目录中。
请确保为使用本地存储的内容配置不同的目录,例如 dfs.namenode.name.dir 以及 dfs.datanode.data.dir 在hdfs-site.xml中。这两个版本的数据应该彼此隔离。或者,如果您想尝试在两个不同的版本之间共享数据,并且一次只运行一个版本,那么您可能能够实现这一点。根据涉及的软件版本,您可能会遇到数据不兼容或需要运行升级命令。
如果要同时运行多个版本,请确保为它们配置了不同的服务器端口,例如 dfs.namenode.rpc-address 在hdfs-site.xml和 yarn.server.resourcemanager.address 在yarn-site.xml中。
在调用命令时,设置如下环境变量 HADOOP_HOME 以及 HADOOP_CONF_DIR 控制要执行的版本和要使用的配置。
对于手动部署的安装,如使用apachehadoop发行版,以上所有内容都可以正常工作。对于bigtop发行版或供应商发行版,rpm/deb/etc.打包可能对并行部署的容忍度较低。

相关问题