如何使用gedit打开hdfs输出文件?

z9ju0rcb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(4)|浏览(325)

我已经在我的系统(ubuntu14.04)中成功地安装并执行了一个mapreduce程序。
我可以看到输出文件为,

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hadoopuser/MapReduceSample-output
Found 3 items
-rw-r--r--   1 hadoopuser supergroup          0 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/_SUCCESS
drwxr-xr-x   - hadoopuser supergroup          0 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/_logs
-rw-r--r--   1 hadoopuser supergroup     880838 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/part-00000

我可以用下面的命令在终端上打开它,

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -cat /user/hadoopuser/MapReduceSample-output/part-00000

我可以在终端上看到输出文件,但是我看不到完整的结果,因为我的输出有大量的行。
所以我想打开它 gedit 或者 nano .
需要解决。

pgx2nnw8

pgx2nnw81#

而不是寻找插件。您可以在eclipse中从$hadoop\u install/bin添加jar文件,编译器问题必须解决。

to94eoyn

to94eoyn2#

无法从本地计算机(系统用户)访问hdfs文件,因此无法使用打开hdfs文件 gedit .
打开 gedit 你必须复制到本地机器上。
为此,打开terminal(ctrl+alt+t)并使用 copyToLocal 将输出文件复制到本地计算机的hadoop shell命令。
执行以下操作:,

hadoopuser@arul-PC:/usr/local/hadoop$ sudo bin/hadoop dfs -copyToLocal /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/Downloads/

现在可以使用 gedit 具体如下:,

$ sudo gedit /home/arul/Downloads/part-00000

注:
我的hdfs用户名是 hadoopuser .
您可以将文件从hdfs移动到本地计算机。hadoop shell命令 fs -mv 允许移动不同的hdfs位置。
有关更多hadoop shell命令(单击此处)。
更新(y-prithvi的帖子中的另一个选项)
您还可以使用getmerge将hdfs文件复制到本地系统。

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -getmerge /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/MROutput

hadoop dfs -getmerge /path/to/HDFS /path/to/save
rvpgvaaj

rvpgvaaj3#

用于hadoop开发的eclipse设置
这应该会有帮助

fcy6dtqo

fcy6dtqo4#

你也可以使用 getmerge 将hdfs文件复制到本地系统。

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -getmerge /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/MROutput
``` `hadoop dfs -getmerge /path/to/HDFS /path/to/save` 

相关问题