vi /etc/sysconfig/network-script/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.150.5
PREFIX=24
GATEWAY=192.168.150.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
[root@master ~]$ #vi /etc/resolv.conf
格式如下:
nameserver 114.114.114.114
如果/etc/resolve.conf的配置文件出现丢失,可以这样解决
[root@master ~]$ vi /etc/sysconfig/network-script/ifcfg-eth0
增加DNS1=xx.xx.xx.xx 的配置,这样会将自动更新/etc/resolve.conf文件
Master 节点主机名: master
Slave 节点主机名: Slave1
Slave 节点主机名: Slave2
Slave 节点主机名: Slave3
自定义:
[root@master ~]$ vi /etc/ sysconfig/network
增加并替换以下配置
NETWORKING=yes #启动网络
HOSTNAME=master #主机名
[root@master ~]$ vi /etc/hosts
增加内容
192.168.6.100 master
192.168.6.101 slave1
192.168.6.102 slave2
192.168.6.103 slave3
改好以后测试,能ping正常返回IP地址表示成功
[root@master ~]$ ping slave1
[root@master ~]$ chkconfig --level 2345 iptables off
[root@master ~]$ service iptables stop
[root@master ~]$ #vi /etc/selinux/config
将内容替换为以下
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
[root@master ~]$ yum install -y ntpdate.x86_64
[root@master ~]$ /usr/sbin/ntpdate 1.cn.pool.ntp.org
[root@master ~]$ crontab –e
增加以下计划任务
0 1 * * * /usr/sbin/ntpdate 1.cn.pool.ntp.org
[root@master ~]$ useradd Hadoop
[root@master ~]$ passwd Hadoop
输入密码 > 111111
[root@master ~]$ su Hadoop
[root@master ~]$ cd
//生成ssh密钥公钥对
[root@master ~]$ ssh-keygen –t rsa
[root@master ~]$ cd .ssh
//将公钥加入免密钥登录
[root@master .ssh]$ cat id_rsa.pub >> authorized_keys
[root@master .ssh]$ chmod 600 authorized_keys
//授权master免密钥登录 slave1 , slave2 , slave3
[root@master .ssh]$ scp authorized_keys hadoop@slave1:~/.ssh
[root@master .ssh]$ scp authorized_keys hadoop@slave2:~/.ssh
[root@master .ssh]$ scp authorized_keys hadoop@slave3:~/.ssh
jdk-7u67-linux-x64.rpm 下载地址
可以使用ftp
[root@master ~]$ rpm –ivh jdk-7u67-linux-x64.rpm
修改所有用户的全局环境变量文件
[root@master ~]$ cd
[root@master ~]$ vi /etc/profile
在文件最下面增加以下内容
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
//执行并更新全局环境变量
[root@master ~]$ source /etc/profile
//查看java版本是否正确
[root@master ~]$ java -version
// 复制全局环境变量到 slave1 , slave2 , slave3
[root@master /root]$ scp /etc/profile slave1:/etc/profile
[root@master /root]$ scp /etc/profile slave2:/etc/profile
[root@master /root]$ scp /etc/profile slave3:/etc/profile
// 复制jdk到 slave1 , slave2 , slave3
[root@master /root]$ scp -r /usr/java slave1:/usr/
[root@master /root]$ scp -r /usr/java slave2:/usr/
[root@master /root]$ scp -r /usr/java slave3:/usr/
[root@slave /root]$ su hadoop
[hadoop@slave /root]$ cd
//执行并更新全局环境变量
[hadoop@slave ~]$ source /etc/profile
//查看java版本是否正确
[hadoop@slave ~]$ java -version
请使用hadoop用户进行操作
hadoop-2.6.4.tar.gz 下载地址
[hadoop@master ~]$ cd;
[hadoop@master ~]$ cp /usr/software/ hadoop-2.6.4.tar.gz ./
[hadoop@master ~]$ tar xzvf hadoop-2.6.4.tar.gz
[hadoop@master ~]$ cd hadoop-2.6.4/;
[hadoop@master hadoop-2.6.4]$ ll
结果如下:
[hadoop@master hadoop-2.6.4]$ ll
total 52
drwxr-xr-x. 2 lyu lyu 4096 Feb 12 2016 bin
drwxr-xr-x. 3 lyu lyu 4096 Feb 12 2016 etc
drwxr-xr-x. 2 lyu lyu 4096 Feb 12 2016 include
drwxr-xr-x. 3 lyu lyu 4096 Feb 12 2016 lib
drwxr-xr-x. 2 lyu lyu 4096 Feb 12 2016 libexec
-rw-r--r--. 1 lyu lyu 15429 Feb 12 2016 LICENSE.txt
-rw-r--r--. 1 lyu lyu 101 Feb 12 2016 NOTICE.txt
-rw-r--r--. 1 lyu lyu 1366 Feb 12 2016 README.txt
drwxr-xr-x. 2 lyu lyu 4096 Feb 12 2016 sbin
drwxr-xr-x. 4 lyu lyu 4096 Feb 12 2016 share
[hadoop@master hadoop-2.6.4]$ cd /home/lyu/hadoop-2.6.4/etc/Hadoop
13.3.1 修改 Hadoop-env.sh
[hadoop@master Hadoop]$ vi Hadoop-env.sh
// 在文件靠前的部分找到:
// export JAVA_HOME=${JAVA_HOME}
// 改为:
export JAVA_HOME=/usr/java/jdk1.7.0_67
13.3.2 修改 yarn-env.sh
// 找到:
// #export JAVA_HOME=/home/y/libexec/jdk1.6.0/
// 改为:
export JAVA_HOME=/usr/java/jdk1.7.0_67
13.3.3 修改 core-site.xml 替换为以下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lyu/hadoopdata</value>
</property>
</configuration>
13.3.4 修改 hdfs-site.xml 替换为以下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
13.3.5 修改 yarn-site.xml 替换为以下内容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>
13.3.6 修改 mapred--site.xml
#touch mapred-site.xml
#vi mapred-site.xml
//替换为以下内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
13.3.7 修改 slaves 替换为以下内容
slave1
slave2
slave3
使用下面的命令将已经配置完成的 Hadoop 复制到从节点 Hadoop Slave 上:
[hadoop@master hadoop-2.6.4]$ cd
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave1:~/
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave2:~/
[hadoop@master ~]$ scp -r hadoop-2.6.4 hadoop@slave3:~/
注意:因为之前已经配置了免密钥登录,这里可以直接远程复制。
该节的配置需要同时在HadoopMaster 和 HadoopSlave上分别进行操作。
[hadoop@master ~]$ cd
[hadoop@master ~]$ vi .bashrc
将下面的代码追加到.bashrc 末尾:
export HADOOP_HOME=/home/lyu/hadoop-2.6.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然后执行命令:
[hadoop@master ~]$ source ~/.bashrc
该节的配置需要同时在HadoopMaster 和 HadoopSlave上分别进行操作。
在 hadoop的用户主目录下,创建数据目录,命令如下:
[hadoop@master ~]$ mkdir /home/hadoop/hadoopdata
[hadoop@master ~]$ hdfs namenode -format
//命令的完整路径 /Hadoop-2.6.4/sbin/start-all.sh
[hadoop@master ~]$start-all.sh
[hadoop@master ~]$ jps
29657 SecondaryNameNode
29478 NameNode
29792 ResourceManager
30052 Jps
//登录 slave1、slave2、slave3 查看是否正常启动
[hadoop@slave1 ~]$ jps
6872 Jps
6740 DataNode
6838 NodeManager
在浏览器地址栏中输入输入 http://master:50070/,(或master的IP),检查namenode 和 datanode 是否正常
或者在master上面使用“hdfs dfsadmin -report”命令查看节点的报告信息
内容来源于网络,如有侵权,请联系作者删除!