Hadoop测试

x33g5p2x  于2021-03-14 发布在 Hadoop  
字(1.3k)|赞(0)|评价(0)|浏览(430)

一、Hadoop测试

[warning] 思考:Hadoop测试,主要测试什么?

安装完Hadoop之后,分别测试Hadoop的两大核心模块:HDFS和MapReduce,查看其功能是否可用。通过文件上传和下载来测试HDFS,通过Hadoop自带的示例jar包测试MapReduce

[info] (1)HDFS文件上传、下载测试

# 1.把/data/software/jdk-8u144-linux-x64.tar.gz 文件上传到HDFS的/jdk中
hadoop fs -put /data/software/jdk-8u144-linux-x64.tar.gz /jdk

# 2.通过命令查看HDFS的根目录
hadoop fs -ls /

# 3.通过浏览器访问HDFS的Web管理界面,ip:50070
    3.1查看文件:点击界面上显示显示的文件
    3.2下载文件:点击文件详情的Download,需要注意,下载的时候浏览器的URL会使用主机名下载,bigdata1,
                由于自己电脑是没有做虚拟机主机名和ip地址映射,无法下载。解决办法是在自己电脑做映射,
                或者把浏览器的主机名换成ip地址:192.168.46.111重新刷新一下即可下载

:-:

:-:

:-:

:-:

:-:

[info] (2)MapReduce测试

使用MapReduce框架提供的示例jar包进行测试,统计一个文件里面的单词数量。该jar文件位于hadoop文件夹的share/hadoop/mapreduce目录下,名称为:Hadoop-mapreduce-examples-2.7.3.jar

# 1.创建需要统计单词字数的文件,创建一个文本文件
touch sample-wordcount.txt

# 2.编辑文件,并增加以下内容
vi sample-wordcount.txt

# 3.打开vi编辑器后,增加以下内容
I Love China
I Love Guangdong
I Love Qingyuan
I Love Lingnan

# 2.把创建的sample-wordcount.txt文件上传到HDFS中去
hadoop fs -mkdir /sample
hadoop fs -put /data/software/sample-wordcount.txt /sample

:-:

# 3.进入Hadoop的jar包所在目录,然后执行单词统计指令
cd /data/module/hadoop-2.7.3/share/hadoop/mapreduce

# 4.执行指令统计单词次数
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /sample/sample-wordcount.txt /sample/output

# 命令解释
jar 执行jar包
wordcount 指定wordcount程序
/sample/sample-wordcount.txt 需要统计的文件HDFS所在的路径
/sample/output 单词统计完输出的结果存放的HDFS路径,注意output目录一开始不能存在,否则会报文件存在错误

:-:

# 5.查看统计输出后的结果
    5.1可以使用在虚拟机使用命令行来看
    5.2可以在HDFS的Web管理界面看

:-:

:-:

相关文章

微信公众号

最新文章

更多