RSYNC

Posted 2021-03-14 tanshouke

 

博主本人平和谦逊，热爱学习，读者阅读过程中发现错误的地方，请帮忙指出，感激不尽

---

 

Rsync简介

 

Rsync英文全称Remote synchronization，一个rsync相当于scp，cp，rm，但是还优于他们每一个命令。

在同步备份数据时，默认情况下，Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。传统的cp，scp工具拷贝每次均为完整的拷贝，而rsync除了可以完整拷贝外，还具备增量拷贝的功能，因此，从同步数据的性能及效率上，Rsync工具更胜一筹

特性：

• 支持拷贝特殊文件如链接文件，设备等
• 可以有排除（tar？find？）指定文件或目录同步的功能，相当于打包命令tar的排除功能
• 可以做到保持原文件或目录的权限，时间，软硬链接，属主，组等属性均不改变-p
• 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）
• 可以使用rcp，rsh，ssh等方式来配合传输文件（rsync本身不对数据加密）
• 可以通过socket（进程方式）传输文件和数据（服务端和客户端）
• 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像

rsync常见的参数选项

-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。
-n --dry-run ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive：递归到目录中去。
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
：检查出mtime不同从而导致增量传输无效。
-o --owner：保持owner属性(属主)。
-g --group：保持group属性(属组)。
-p --perms：保持perms属性(权限，不包括特殊权限)。
-D ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件。
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-z ：传输时进行压缩提高效率。
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
--size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
-d --dirs ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
--max-size ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
--min-size ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude ：指定排除规则来排除不需要传输的文件。
--delete ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
：exclude/include规则生效之后才执行的。
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀。
--backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e ：指定所要使用的远程shell程序，默认为ssh。
--port ：连接daemon时使用的端口号，默认为873端口。
--password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
--existing ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能，见下文示例。
--remove-source-files：要求删除源端已经成功传输的文件。

一、Rsync的工作方式

1. 单个主机本地之间的数据传输（此时类似于cp命令的功能）
2. 借助rcp，ssh等通道来传输数据（此时类似于scp命令的功能）
3. 以守护进程（socket）的方式传输数据（这个是rsync自身的重要功能） --工作中最重要的 （在远程做推拉）

 二、实例

 2.1.实例1

将/etc/passwd文件同步至/opt目录下，RSYNC无法重命名，只能同步

[root@server ~]# cp /etc/passwd /opt/passwd01
[root@server ~]# rsync -azP /etc/passwd /opt/  #（相当于cp -a）
sending incremental file list
passwd
            944 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=0/1)
[root@server ~]# ls -ld /opt/passwd* 
-rw-r--r--. 1 root root 944 Jan 24 11:48 /opt/passwd
-rw-r--r--. 1 root root 944 Jan 24 19:06 /opt/passwd01
[root@server ~]# ls -l /etc/passwd
-rw-r--r--. 1 root root 944 Jan 24 11:48 /etc/passwd
[root@server ~]# 

 

2.2.实例2

删除目的地有但是源地址没有的文件

--delete

[root@server ~]# ls -l /mnt/
total 0
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp01
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp02
[root@server ~]# ls -l /opt/
total 0
-rw-r--r--. 1 root root 0 Jan 24 19:10 test01
-rw-r--r--. 1 root root 0 Jan 24 19:10 test02
[root@server ~]# rsync -azP --delete /mnt/ /opt/
sending incremental file list
deleting test02
deleting test01
./
cp01
              0 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=1/3)
cp02
              0 100%    0.00kB/s    0:00:00 (xfr#2, to-chk=0/3)
[root@server ~]# ls -l /mnt/
total 0
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp01
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp02
[root@server ~]# ls -l /opt/
total 0
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp01
-rw-r--r--. 1 root root 0 Jan 24 19:10 cp02
[root@server ~]# 

 

小结：delete选项充分说明了RSYNC是以源地址为主的同步。

2.3.实例3

基于ssh的数据传输

server(17):
[root@server ~]# dd if=/dev/zero of=/opt/testfile bs=10M count=10  
10+0 records in
10+0 records out
104857600 bytes (105 MB) copied, 0.215459 s, 487 MB/s
[root@server ~]# 
[root@server ~]# rsync -azP --bwlimit=100  /opt/testfile 192.168.181.18:/opt #--bwlimit 默认单位是kb/s
root@192.168.181.18‘s password:（123456）
sending incremental file list
testfile
    104,857,600 100%  120.15MB/s    0:00:00 (xfr#1, to-chk=0/1)
[root@server ~]# 

或是：
ot@server ~]# rsync -azP -e ‘ssh -p 22‘ --bwlimit=100  /opt/testfile 192.168.181.18:/opt  #看完这条命令就很容易理解“RSYNC基于ssh的数据传输”
root@192.168.181.18‘s password: 
sending incremental file list
testfile
    104,857,600 100%  120.30MB/s    0:00:00 (xfr#1, to-chk=0/1)
[root@server ~]# 

 

小结：RSYNC的操作都是单向流通的

上面的实例，传输需要输入密码，然而ssh是可以设置免密登录的，那么RSYNC是否也可以？请看下面案例：

2.4.实例4

免密同步

server（181.17）
[root@server ~]# dd if=/dev/zero of=/backup/testfile bs=10M count=10 
10+0 records in
10+0 records out
104857600 bytes (105 MB) copied, 0.273959 s, 383 MB/s
[root@server ~]# ls -l /backup/
total 102400
-rw-r--r--. 1 root root 104857600 Jan 24 20:03 testfile
[root@server ~]# 
[root@server ~]# cat /etc/rsyncd.conf 
# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

 uid = rsync
 gid = rsync
 use chroot = no
 max connections = 4
 pid file = /var/run/rsyncd.pid
 #exclude = lost+found/
 #transfer logging = yes
 timeout = 300
 lock file = /var/run/rsyncd.lock
 log file = /var/run/rsyncd.log
 #ignore nonreadable = yes
 dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 #这些后缀名不进行压缩传输

 [backup] #同步名
        path = /backup #同步文件路径
        comment = backup export area
        ignore errors  #忽略错误
        read only =false  #只读，设置为false表示可以读写，设置为yes表示只读
        list =false #远程列表，也可以写IP地址
        hosts allow = 192.168.181.0/24 #放行网段
        hosts deny = 0.0.0.0/32 #禁止网段
        auth users =alineET #虚拟用户
        secrets file = /etc/rsync.password #密码文件
[root@server ~]# 
[root@server ~]# mkdir /backup 
[root@server ~]# useradd -M -s /sbin/nologin rsync
[root@server ~]# chown -R rsync:rsync /backup
[root@server ~]# echo "alineET:123456">/etc/rsync.password  #注意虚拟用户与密码的格式
[root@server ~]# chmod 600 /etc/rsync.password 
[root@server ~]# cat /etc/rsync.password
alineET:123456
[root@server ~]# rsync --daemon  #开启同步的方式，关闭使用kill
[root@server ~]# systemctl stop firewalld
[root@server ~]# iptables -F
[root@server ~]# setenforce 0
[root@server ~]# 

desktop（181.18）
秘钥登录同步：
[root@desktop ~]# rsync -azP alineET@192.168.181.17::backup /backup/ 
Password: （123456）
receiving incremental file list
./
testfile
    104,857,600 100%  180.83MB/s    0:00:00 (xfr#1, to-chk=0/2)
[root@desktop ~]# 
免密登录同步：
[root@desktop ~]# echo "123456">/etc/rsync.password  #注意格式，只写密码，与服务器里面的虚拟用户密码相同
[root@desktop ~]# rsync -azP alineET@192.168.181.17::backup /backup/ --password-file=/etc/rsync.password
receiving incremental file list
./
testfile
    104,857,600 100%  181.49MB/s    0:00:00 (xfr#1, to-chk=0/2)
[root@desktop ~]#