删除大量小文件

Posted 2020-11-28 peng-zone

磁盘空间报警，经查是某php项目runtime目录下的debug目录有大量碎文件，大概600G，用rm 根本删不动，用lsof | grep delete 也没有程序占用，最后用rsync -a --delete kong/ debug/ 解决的，先mkdir kong，后执行命令，空间逐步恢复。

附：几个删除大量碎文件的方法及比较

一，首先建立50万个文件

? $ test for i in $(seq 1 500000);do echo text >>$i.txt;done

1. rm删除

   $ time rm -f *
   zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
   zsh: argument list too long: rm
   rm -f * 3.63s user 0.29s system 98% cpu 3.985 total
   由于文件数量过多，rm不起作用。

2. find删除

   $ time find ./ -type f -exec rm {} ;
   find ./ -type f -exec rm {} ; 49.86s user 1032.13s system 41% cpu 43:19.17 total
   大概43分钟,我的电脑。。。。。。边看视频边删的。

3. find with delete

   $ time find ./ -type f -delete
   find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total
   用时9分钟。

4. rsync删除

   首先建立空文件夹blanktest

   $ time rsync -a --delete blanktest/ test/
   rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total
   16s，很好很强大。

5. Python删除

   import os
   import timeit
   def main():
   for pathname,dirnames,filenames in os.walk(‘/home/username/test‘):
   for filename in filenames:
   file=os.path.join(pathname,filename)
   os.remove(file)

   if name==‘main‘:
   t=timeit.Timer(‘main()‘,‘from main import main‘)
   print t.timeit(1)　　
   1
   2
   $ python test.py
   529.309022903
   大概用时9分钟。

6. Perl删除

   $ time perl -e ‘for(<>){((stat)[9]<(unlink))}‘ perl -e ‘for(<>){((stat)[9]<(unlink))}‘ 1.28s user 7.23s system 50% cpu 16.784 total
   16s，这个应该最快了。

二，结论：

rm：文件数量太多，不可用
find with -exec 50万文件耗时43分钟
find with -delete 9分钟
Perl 16s
Python 9分钟
rsync with -delete 16s
结论：删除大量小文件rsync最快，最方便。