(总结)Linux下使用rsync最快速删除海量文件的方法

Posted cn三少nginx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了(总结)Linux下使用rsync最快速删除海量文件的方法相关的知识,希望对你有一定的参考价值。

昨天遇到了要在Linux下删除海量文件的情况,需要删除数十万个文件。这个是之前的程序写的日志,增长很快,而且没什么用。这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。

1、先安装rsync:
yum install rsync
2、建立一个空的文件夹:
mkdir /tmp/test
3、用rsync删除目标目录:
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

选项说明
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态

以上是关于(总结)Linux下使用rsync最快速删除海量文件的方法的主要内容,如果未能解决你的问题,请参考以下文章

Linux下快速迁移海量文件的操作记录

Linux下如何快速删除海量文件

Linux下如何快速删除海量文件

Linux学习总结(二十八) 数据同步工具 rsync

Linux笔记:增量备份程序rsync快速入门

使用rsync删除海量数据