[warning] 思考:Hadoop测试,主要测试什么?
安装完Hadoop之后,分别测试Hadoop的两大核心模块:HDFS和MapReduce,查看其功能是否可用。通过文件上传和下载来测试HDFS,通过Hadoop自带的示例jar包测试MapReduce
[info] (1)HDFS文件上传、下载测试
# 1.把/data/software/jdk-8u144-linux-x64.tar.gz 文件上传到HDFS的/jdk中
hadoop fs -put /data/software/jdk-8u144-linux-x64.tar.gz /jdk
# 2.通过命令查看HDFS的根目录
hadoop fs -ls /
# 3.通过浏览器访问HDFS的Web管理界面,ip:50070
3.1查看文件:点击界面上显示显示的文件
3.2下载文件:点击文件详情的Download,需要注意,下载的时候浏览器的URL会使用主机名下载,bigdata1,
由于自己电脑是没有做虚拟机主机名和ip地址映射,无法下载。解决办法是在自己电脑做映射,
或者把浏览器的主机名换成ip地址:192.168.46.111重新刷新一下即可下载
:-:
:-:
:-:
:-:
:-:
[info] (2)MapReduce测试
使用MapReduce框架提供的示例jar包进行测试,统计一个文件里面的单词数量。该jar文件位于hadoop文件夹的share/hadoop/mapreduce目录下,名称为:Hadoop-mapreduce-examples-2.7.3.jar
# 1.创建需要统计单词字数的文件,创建一个文本文件
touch sample-wordcount.txt
# 2.编辑文件,并增加以下内容
vi sample-wordcount.txt
# 3.打开vi编辑器后,增加以下内容
I Love China
I Love Guangdong
I Love Qingyuan
I Love Lingnan
# 2.把创建的sample-wordcount.txt文件上传到HDFS中去
hadoop fs -mkdir /sample
hadoop fs -put /data/software/sample-wordcount.txt /sample
:-:
# 3.进入Hadoop的jar包所在目录,然后执行单词统计指令
cd /data/module/hadoop-2.7.3/share/hadoop/mapreduce
# 4.执行指令统计单词次数
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /sample/sample-wordcount.txt /sample/output
# 命令解释
jar 执行jar包
wordcount 指定wordcount程序
/sample/sample-wordcount.txt 需要统计的文件HDFS所在的路径
/sample/output 单词统计完输出的结果存放的HDFS路径,注意output目录一开始不能存在,否则会报文件存在错误
:-:
# 5.查看统计输出后的结果
5.1可以使用在虚拟机使用命令行来看
5.2可以在HDFS的Web管理界面看
:-:
:-:
内容来源于网络,如有侵权,请联系作者删除!