Hadoop集群搭建

x33g5p2x  于2022-08-17 转载在 Hadoop  
字(5.7k)|赞(0)|评价(0)|浏览(428)

Apache Hadoop 分布式集群搭建

基础环境准备

三台 linux 节点,操作系统(Centos7)

  1. 关闭防火墙
systemctl stop firewalld

开机时禁用防火墙

systemctl disable firewalld
  1. 修改主机名

vi /etc/hosts

192.168.56.103 linux2
192.168.56.102 linux3
192.168.56.104 linux4
  1. 配置免密登录

在~目录下执行

#生成密钥
ssh-keygen -t rsa

cd /root/.ssh/
cp id_rsa.pub authorized_keys
//将每台机器的密钥拷到其他三台上,如在第一台上执行
ssh-copy-id -i linux3
ssh-copy-id -i linux4
  1. 每台机器安装 java 环境

安装 Hadoop

集群规划

框架linux2linux3linux4
HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNode
MapReduce无区分无区分无区分
YARNNodeManagerNodeManagerNodeManager、ResourceManager
  1. 下载 hadoop

下载页面:
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

下载并解压

目录介绍

  1. bin 目录:对 Hadoop 进行操作的相关命令,如 hadoop,hdfs 等

  2. etc 目录:Hadoop 的配置文件目录,入 hdfs-site.xml,core-site.xml 等

  3. lib 目录:Hadoop 本地库(解压缩的依赖)

  4. sbin 目录:存放的是 Hadoop 集群启动停止相关脚本,命令

  5. share 目录:Hadoop 的一些 jar,官方案例 jar,文档等

  6. 配置环境变量

添加 Hadoop 到环境变量 vim /etc/profile

export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

测试是否配置成功

hadoop version

集群配置

Hadoop 集群配置 = HDFS 集群配置 + MapReduce 集群配置 + Yarn 集群配置

配置总览:

  1. HDFS 集群配置
  • 将 JDK 路径明确配置给 HDFS(修改 hadoop-env.sh)
  • 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
  • 指定 SecondaryNameNode 节点(修改 hdfs-site.xml)
  • 指定 DataNode 从节点(修改 etc/hadoop/slaves 文件,每个节点配置信息占一行)
  1. MapReduce 集群配置
  • 将 JDK 路径明确配置给 MapReduce(修改 mapred-env.sh)
  • 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
  1. Yarn 集群配置
  • 将 JDK 路径明确配置给 Yarn(修改 yarn-env.sh)
  • 指定 ResourceManager 老大节点所在计算机节点(修改 yarn-site.xml)
  • 指定 NodeManager 节点(会通过 slaves 文件内容确定)

一、HDFS 集群配置配置

配置文件在:/opt/lagou/servers/hadoop-2.9.2/etc/hadoop目录下

  1. 配置 hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
  1. 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
 <value>hdfs://linux2:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>
</configuration>
  1. 指定 secondarynamenode 节点(修改 hdfs-site.xml)
<configuration>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>linux4:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
  1. 指定 datanode 从节点(vi slaves 文件,每个节点配置信息占一行)
linux2
linux3
linux4

注意不要有多余的换行和空格

二、MapReduce 集群配置

  1. 指定 MapReduce 使用的 jdk 路径(修改 mapred-env.sh)
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
  1. 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

三、Yarn 集群配置

  1. 指定 JDK 路径(vi yarn-env.sh)
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
  1. 指定 ResourceMnager 的 master 节点信息(vi yarn-site.xml)
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux4</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
  1. 指定 NodeManager 节点(vi slaves 文件,同 HDFS 配置的第四点,上面配置过,这里就不用配置了)
linux2
linux3
linux4

注意:Hadoop 安装目录所属用户和所属用户组信息,默认是 501dialout,而我们操作 Hadoop 集群的用户使用的是虚拟机的 root 用户。

解决方法:

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

备注:我们通过命令 scp 或 rsync 将一台机器上配置好的文件目录复制到其他机器上去。

示例:

scp -r jdk1.8.0_151/ linux3:/opt/lagou/servers/

集群启动

注意:如果集群是第一次启动,需要在Namenode 所在节点格式化 NameNode,非第一次不用执行格式化 Namenode 操作!!

hadoop namenode -format

格式化成功后有如下标识:

一、单节点启动方式

HDFS 启动

  1. 在 linux2(NameNode 节点)上启动 NameNode
hadoop-daemon.sh start namenode
  1. 在 linux2、linux3、linux4 上启动 DataNode
hadoop-daemon.sh start datanode
  1. 查看启动情况
    192.168.56.103:50070

从 Live Node 可以看出启动成功的节点数量

也可以访问 HDFS 网页:
http://192.168.56.103:50070/explorer.html

Yarn 启动

  1. 在 linux4(启动 resourcemanager 节点)上启动 resourcemanager
yarn-daemon.sh start resourcemanager
  1. 在 linux2、linux3、linux4 上启动 nodemanager
yarn-daemon.sh start nodemanager

停止命令

就是将 start 换成 stop

hadoop-daemon.sh  stop namenode/datanode/secondarynamenode

yarn-daemon.sh  stop resourcemanager / nodemanager

二、集群群启方式

  1. 在 linux2(NameNode 节点)上运行
sbin/start-dfs.sh
  1. 在 linux4(resourcemanager)上运行
sbin/start-yarn.sh

停止命令:

stop-dfs.sh
stop-yarn.sh

集群测试

  1. HDFS 分布式存储初体验

从我们 linux 本地传一个文件到 hdfs 上,并从 hdfs 上下载

#在hdfs上创建文件夹
hdfs dfs -mkdir -p /test/input
#上传linxu文件到Hdfs
hdfs dfs -put /root/test.txt /test/input
#从Hdfs下载文件到linux本地
hdfs dfs -get /test/input/test.txt

上传成功后也可以从管理页面上查看:

  1. MapReduce 分布式计算初体验

1)在 HDFS 文件系统根目录下面创建一个 wcinput 文件夹

hdfs dfs -mkdir -p /wcinput

2)本地编辑一个文件上传到 wcinput 文件夹下

文件内容:
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou

hdfs dfs -put word.txt /wcinput

3)运行 hadoop 提供的 mapreduce 示例程序测试

示例程序路径: cd hadoop-2.9.2/share/hadoop/mapreduce

hadoop jar ./hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

注意:wordcount 是示例程序提供的功能,wcinput 是我们放置文件的目录,wcoutput 由程序自动创建

4) 查看运行结果

hdfs dfs -cat /wcoutput/part-r-00000

配置历史服务器

在 Yarn 中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志服务器。

  1. 配置 mapred-site.xml
<!-- 历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>linux121:19888</value>
</property>
  1. 配置 yarn-site.xml
<!-- 日志聚集功能使能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
  1. 启动历史服务
mr-jobhistory-daemon.sh start historyserver
  1. 查看效果
    http://192.168.56.103:19888/jobhistory

遇到的问题

启动后 liveNode 只有 2 个节点。

原因:因为这两个节点相同的 datanodeUuid 导致的。

datanodeUuid 位置:file://${hadoop.tmp.dir}/dfs/data/current/VERSION

cat /opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/data/current/VERSION

如果是一致的修改一下,然后重新启动即可。

书山有路勤为径,学海无涯苦作舟

相关文章