我是hadoop新手。是否有bash命令将文件从hadoop分布式文件系统传输到hadoop节点上的标准文件系统。我正在使用 Hadoop 2.6.0 我看到了另一个类似的问题，它询问如何在java中做同样的事情：用java将文件从hdfs复制到本地文件系统我们可以用一个简单的shell命令（在hadoop集群的一个节点上运行）来代替它吗？
Hadoop 2.6.0
ac1kyiln1#
hdfs dfs -get /hdfs/path /local/path hdfs dfs -put /local/path /hdfs/path
hdfs dfs -put /local/path /hdfs/path
m4pnthwp2#
如果要将数据从hdfs下拉到本地目录，则需要使用hadoop fs命令的-get或-copytolocal开关。hadoop fs-复制本地hdfs://path localpath只需在shell脚本中调用命令即可。用于线路输入 awk '/.csv/ {print $2}' /user/hadoop/TempFiles/CLNewFiles.txt ;做hadoop fs copytolocal/user/hadoop/tempfiles/$line yourlocalpathecho“$line文件正在从hadoop下载”完成
awk '/.csv/ {print $2}' /user/hadoop/TempFiles/CLNewFiles.txt
2条答案
按热度按时间ac1kyiln1#
hdfs dfs -get /hdfs/path /local/path
hdfs dfs -put /local/path /hdfs/pathm4pnthwp2#
如果要将数据从hdfs下拉到本地目录，则需要使用hadoop fs命令的-get或-copytolocal开关。
hadoop fs-复制本地hdfs://path localpath
只需在shell脚本中调用命令即可。
用于线路输入
awk '/.csv/ {print $2}' /user/hadoop/TempFiles/CLNewFiles.txt;做
hadoop fs copytolocal/user/hadoop/tempfiles/$line yourlocalpath
echo“$line文件正在从hadoop下载”
完成