删除旧的hdfs文件太慢

xggvc2p6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(263)

两天前我想删除文件上的hdfs,但是速度太慢了,有人能提供一些优化的想法吗?
格式

drwxr-xr-x   3 nuomi-da-stat nuomi-da-stat          0 2016-11-15 11:58 /app/lbs/nuomi-da-stat/stat_platform_auto/943

shell脚本

hadoop fs -lsr /app/lbs/nuomi-da-stat/stat_platform_auto | awk '
  BEGIN {
    IFS="\t";
    n_days_ago=strftime("%F", systime()-2*24*3600)
  } {
    if (substr($1,1,1)=="-" && $6<n_days_ago) {print "hadoop fs -rmr", $8}
  }' | /bin/bash

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题