仅从目录中查找最新的hdfs文件

s2j5cfk0  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(212)

我想找出最新的文件,从hdfs目录,并保持原样,删除旧的文件。
我在hdfs目录/user/hive/warehouse/test中有4个文件:

-rwxrwx--x+  3 hive hive          9 2018-11-13 04:13 /user/hive/warehouse/test/bc4151c16c98d191-72314e2e00000000_640731000_data.0.
-rwxrwx--x+  3 hive hive          9 2018-11-13 04:35 /user/hive/warehouse/test/bc4151c16c98d191-72314e2e00000000_640731001_data.0.
-rwxrwx--x+  3 hive hive         12 2018-11-13 08:31 /user/hive/warehouse/test/944adb43a3a5f955-659ed0e100000000_916442110_data.0.
-rwxrwx--x+  3 hive hive         12 2018-11-13 08:31 /user/hive/warehouse/test/944adb43a3a5f955-659ed0e100000000_916442111_data.0.

我想删除所有不是最新的文件。
这意味着我的目录应该包含时间戳为2018-11-13 08:31的文件
我可以用 hdfs dfs -ls /user/hive/warehouse/test | sort -k6,7 如何删除旧文件?hdfs命令没有像find这样只提取最新文件的命令。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题