hadoop 2.4.6 服务器环境配置安装

x33g5p2x  于2021-03-14 发布在 Hadoop  
字(6.7k)|赞(0)|评价(0)|浏览(491)

1. 安装配置虚拟机推荐centos6.5 或 6.8

2. 复制或克隆虚拟系统达到3台

3. 配置网卡(所有虚拟机)

vi /etc/sysconfig/network-script/ifcfg-eth0

TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.150.5
PREFIX=24
GATEWAY=192.168.150.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0

4. 配置DNS(所有虚拟机)

[root@master ~]$ #vi /etc/resolv.conf

格式如下:

nameserver 114.114.114.114

如果/etc/resolve.conf的配置文件出现丢失,可以这样解决

[root@master ~]$ vi /etc/sysconfig/network-script/ifcfg-eth0

增加DNS1=xx.xx.xx.xx 的配置,这样会将自动更新/etc/resolve.conf文件

5. 配置主机名(所有虚拟机)

Master 节点主机名: master

Slave 节点主机名: Slave1

Slave 节点主机名: Slave2

Slave 节点主机名: Slave3

自定义:

[root@master ~]$ vi /etc/ sysconfig/network

增加并替换以下配置


NETWORKING=yes #启动网络 
HOSTNAME=master  #主机名
  • Slave 节点,类同。

6. 配置本地DNS(所有虚拟机)

[root@master ~]$ vi /etc/hosts

增加内容

192.168.6.100 master
192.168.6.101 slave1
192.168.6.102 slave2
192.168.6.103 slave3

改好以后测试,能ping正常返回IP地址表示成功

[root@master ~]$ ping slave1

7. 关闭防火墙(所有虚拟机)

[root@master ~]$ chkconfig --level 2345 iptables off

[root@master ~]$ service iptables stop

8. 关闭sellinux(所有虚拟机)

[root@master ~]$ #vi /etc/selinux/config

将内容替换为以下

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#	enforcing - SELinux security policy is enforced.
#	permissive - SELinux prints warnings instead of enforcing.
#	disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
#	targeted - Only targeted network daemons are protected.
#	strict - Full SELinux protection.
SELINUXTYPE=targeted

9. 做时间自动同步(所有虚拟机)

[root@master ~]$ yum install -y ntpdate.x86_64 

[root@master ~]$ /usr/sbin/ntpdate 1.cn.pool.ntp.org

[root@master ~]$ crontab –e

增加以下计划任务

0 1 * * * /usr/sbin/ntpdate 1.cn.pool.ntp.org

10. ssh 免密钥登录(所有虚拟机)

[root@master ~]$ useradd Hadoop
[root@master ~]$ passwd Hadoop

输入密码 >  111111

[root@master ~]$ su Hadoop

[root@master ~]$ cd

//生成ssh密钥公钥对
[root@master ~]$ ssh-keygen –t rsa
[root@master ~]$ cd .ssh

//将公钥加入免密钥登录
[root@master .ssh]$ cat id_rsa.pub >> authorized_keys

[root@master .ssh]$ chmod 600 authorized_keys

11. ssh 免密钥登录授权(仅master)

//授权master免密钥登录 slave1 , slave2 , slave3
[root@master .ssh]$ scp authorized_keys hadoop@slave1:~/.ssh

[root@master .ssh]$ scp authorized_keys hadoop@slave2:~/.ssh

[root@master .ssh]$ scp authorized_keys hadoop@slave3:~/.ssh

12. 安装 JDK (仅master)

jdk-7u67-linux-x64.rpm 下载地址

1. 将java sdk压缩包上传到/usr/software

可以使用ftp

2. 安装jdk,如果提示权限不足,需要切换到root(会安装到/usr/java)
[root@master ~]$ rpm –ivh jdk-7u67-linux-x64.rpm
3. 配置环境变量

修改所有用户的全局环境变量文件

[root@master ~]$ cd
[root@master ~]$ vi /etc/profile

在文件最下面增加以下内容

export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
//执行并更新全局环境变量
[root@master ~]$ source /etc/profile

//查看java版本是否正确
[root@master ~]$ java -version
4. 复制到其他机器
// 复制全局环境变量到 slave1 , slave2 , slave3
[root@master /root]$ scp /etc/profile slave1:/etc/profile

[root@master /root]$ scp /etc/profile slave2:/etc/profile

[root@master /root]$ scp /etc/profile slave3:/etc/profile

// 复制jdk到 slave1 , slave2 , slave3
[root@master /root]$ scp -r /usr/java slave1:/usr/

[root@master /root]$ scp -r /usr/java slave2:/usr/

[root@master /root]$ scp -r /usr/java slave3:/usr/
5. 在其他机器上(slave1,slave2,slave3)更新全局环境变量:
[root@slave /root]$ su hadoop

[hadoop@slave /root]$ cd 

//执行并更新全局环境变量
[hadoop@slave ~]$ source /etc/profile

//查看java版本是否正确
[hadoop@slave ~]$ java -version

13. hadoop 安装配置(仅在master上面操作)

请使用hadoop用户进行操作

13.1、上传hadoop包 hadoop-2.6.4.tar.gz 到 /usr/software

hadoop-2.6.4.tar.gz 下载地址

13.2、解压:
[hadoop@master ~]$ cd; 
[hadoop@master ~]$ cp /usr/software/ hadoop-2.6.4.tar.gz ./
[hadoop@master ~]$ tar xzvf hadoop-2.6.4.tar.gz
[hadoop@master ~]$ cd hadoop-2.6.4/; 
[hadoop@master hadoop-2.6.4]$ ll

结果如下:

[hadoop@master hadoop-2.6.4]$ ll
total 52
drwxr-xr-x. 2 lyu lyu  4096 Feb 12  2016 bin
drwxr-xr-x. 3 lyu lyu  4096 Feb 12  2016 etc
drwxr-xr-x. 2 lyu lyu  4096 Feb 12  2016 include
drwxr-xr-x. 3 lyu lyu  4096 Feb 12  2016 lib
drwxr-xr-x. 2 lyu lyu  4096 Feb 12  2016 libexec
-rw-r--r--. 1 lyu lyu 15429 Feb 12  2016 LICENSE.txt
-rw-r--r--. 1 lyu lyu   101 Feb 12  2016 NOTICE.txt
-rw-r--r--. 1 lyu lyu  1366 Feb 12  2016 README.txt
drwxr-xr-x. 2 lyu lyu  4096 Feb 12  2016 sbin
drwxr-xr-x. 4 lyu lyu  4096 Feb 12  2016 share
13.3、环境变量配置
[hadoop@master hadoop-2.6.4]$ cd /home/lyu/hadoop-2.6.4/etc/Hadoop

13.3.1 修改 Hadoop-env.sh

[hadoop@master Hadoop]$ vi Hadoop-env.sh

// 在文件靠前的部分找到:

// export JAVA_HOME=${JAVA_HOME}

// 改为:

export JAVA_HOME=/usr/java/jdk1.7.0_67

13.3.2 修改 yarn-env.sh

// 找到:
// #export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 
// 改为:
export JAVA_HOME=/usr/java/jdk1.7.0_67

13.3.3 修改 core-site.xml 替换为以下内容

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/lyu/hadoopdata</value>
        </property>
</configuration>

13.3.4 修改 hdfs-site.xml 替换为以下内容

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value> 
        </property>             
</configuration>

13.3.5 修改 yarn-site.xml 替换为以下内容

<configuration>
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>master:18040</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>master:18030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>master:18025</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.admin.address</name> 
        <value>master:18141</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.webapp.address</name> 
        <value>master:18088</value> 
    </property>
</configuration>

13.3.6 修改 mapred--site.xml

#touch mapred-site.xml

#vi mapred-site.xml

//替换为以下内容

<configuration>
    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property>
</configuration>

13.3.7 修改 slaves 替换为以下内容

slave1
slave2
slave3
13.4、复制到从节点

使用下面的命令将已经配置完成的 Hadoop 复制到从节点 Hadoop Slave 上:

[hadoop@master hadoop-2.6.4]$ cd 
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave1:~/
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave2:~/
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave3:~/

注意:因为之前已经配置了免密钥登录,这里可以直接远程复制。

13.5、配置 Hadoop 集群系统环境变量(需要在所有虚拟机上操作)

该节的配置需要同时在HadoopMaster 和 HadoopSlave上分别进行操作。

[hadoop@master ~]$ cd
[hadoop@master ~]$ vi .bashrc

将下面的代码追加到.bashrc 末尾:

export HADOOP_HOME=/home/lyu/hadoop-2.6.4 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 

然后执行命令:

[hadoop@master ~]$ source ~/.bashrc

14. 启动 hadoop 集群

1、创建数据目录

该节的配置需要同时在HadoopMaster 和 HadoopSlave上分别进行操作。
在 hadoop的用户主目录下,创建数据目录,命令如下:

[hadoop@master ~]$ mkdir /home/hadoop/hadoopdata
2、格式化hdfs文件系统
[hadoop@master ~]$ hdfs namenode -format
3、启动hadoop
//命令的完整路径 /Hadoop-2.6.4/sbin/start-all.sh
[hadoop@master ~]$start-all.sh
4、查看是否正常启动
[hadoop@master ~]$ jps
29657 SecondaryNameNode
29478 NameNode
29792 ResourceManager
30052 Jps

//登录 slave1、slave2、slave3 查看是否正常启动
[hadoop@slave1 ~]$ jps
6872 Jps
6740 DataNode
6838 NodeManager

在浏览器地址栏中输入输入 http://master:50070/,(或master的IP),检查namenode 和 datanode 是否正常

或者在master上面使用“hdfs dfsadmin -report”命令查看节点的报告信息

相关文章

微信公众号

最新文章

更多