使用shell巧妙高效的批量删除历史文件或目录

背景：有实时产生的数据按小时分文件保存，如“/data/2013/09/18/14.txt”。现须要保留30天的最新数据，而删除全部其它的历史数据。注意“保留30天的最新数据”，可能不是连续的30天，中间若某一天数据缺失，也必须把最新的30天的数据保留下来。

 

思路：获取全部数据路径列表，去除最新30天的数据路径，而后遍历删除。如果使用脚本语言来开发（如php，python），循环获取路径列表的代码就已经比较臃肿了，效率也不高，特别是文件目录特多的时候。使用shell应该更方便和高效

rm -rf `find /data/*/*/*/ -type d|awk '{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i]}}'`

词命令还存在一个隐患，rm的参数字符长度可能超过1024的限制，修改以下

find /data/*/*/*/ -type d|awk '{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i]}}'|xargs -I{} rm -rf {}

这个命令里使用了find，效率仍是有些不满意，使劲的寻找更高效获取路径列表的方式。哈哈，黄天不负苦心人啊，终于找到一个

echo /data/*/*/*/|awk '{for(i=1;i<=NF;i++){a[i ]=$i}}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i ]}}'|xargs -I{} rm -rf {}

使用time命令测试运行速度，第二条命令和第三条命令其运行时间分别是0.007s和0.002s，后者快了3倍

 

但郁闷的是，我不知道“echo /data/*/*/*/“究竟是怎么个原理，有什么限制等等，网上也尚未搜索到相关资料，有知道的朋友请告知一下啊

 

2013-10-17 编辑补充：

原命令还能够修改精简一下，经过指定awk使用的换行符来避免for循环

echo /data/*/*/*/|awk 'BEGIN{ORS=RS=" "}{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i ]}}'|xargs -I{} rm -rf {}

还有一个问题就是，你可能想在日志中记录下删除了那些文件。能够先把文件列表赋值给一个变量，记录日志后再删除

files=`echo /data/*/*/*/|awk 'BEGIN{ORS=RS=" "}{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i ]}}'`
echo $files; #输出日志
echo -e ${files//\ /"\n"}|xargs -I{} rm -rf {}
关键是最后一行， echo 的-e参数是为了能够输出\n换行，如无此参数则不会识别。
${files//\ /"\n"} 是把变量files里的全部空格都替换成\n换行符，这样xargs才能正确切分参数。不知道为何会这样

2015-4-16 继续优化命令

files=`ls -1 -r /data/*/*/*/ | awk 'NR>=30{print $0}'`
echo $files; #输出日志
echo -e $files | xargs -I{} -d " " rm -rf {}

说明:
ls :  -1参数表示一个文件或目录单独占一行显示, -r 表示按路径降序排列(默认是升序排列)

xargs: -d 参数设置分隔符