shell—在hdfs中查找和删除零字节文件

up9lanfz  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(356)

我需要写一个bash脚本来帮助我定位和删除hdfs中的所有零字节文件。
我试着用这个命令

hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm

但是,它并没有找到所有的文件。
有没有更好的方法来实现这一点。

w1e3prcc

w1e3prcc1#

尝试使用以下选项:

for f in $(hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done

相关问题