Rsync企业实战之异地自动化备份

Posted 2020-08-09

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Rsync企业实战之异地自动化备份相关的知识，希望对你有一定的参考价值。

认真的测试过网上的大多数文章和版本，真正能一次性测试通过的文章太少了，需要反复的推敲，反复的查阅资料，才能真正的测试成功，所以，在此背景下，总结了Rsync,加上自己的理解分享出来；

1、原理篇

Rsync，故名思议，是一个远程数据同步工具，可以镜像整个目录树和文件系统，也可以保持源文件的权限，时间和软硬链接，可以优化数据，文件重复数据的删除，也可以在LAN/WAN之间快速的同步多台主机的数据，这主要得益于Rsync的压缩和Rsync的核心算法，其算法，是本地和远程两台主机之间的文件达到同步并保持一致，并且只传送两个文件的不同部分，而不是整个数据进行传送，所以，速度非常快；

一个Rsync server能够同时备份多个客户端数据，也可以一个客户端备份多个Rsync server的数据；

Rsync 支持搭配scp,ssh和daemon模式，默认端口是873，当第一次连接的时候，会对数据进行完整备份，之后的所有备份，都是进行增量备份，只备份又变化的数据；

Rsync只支持单向备份，不支持双向，如果需要双向同步的，可以使用Unison；如果需要实时同步的，可以结合Rsync+inotify；

Rsync服务以只读方式提供要备份的数据，避免破坏生产环境的数据；

在这里，有必要对Rsync的核心算法，进行讲解：

假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B，其中 α 对文件A拥有访问权，β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成：

β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
β 对每一个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另一种是128位的 MD4 强校验。
β 将这些校验结果发给 α。
α 通过搜索文件 A 的所有大小为 S 的数据块（偏移量可以任选，不一定非要是 S 的倍数），来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync适用于linux、solaris和bsd，在windows平台下，有cwRsync。

本文，将以Linux的Rsync和以window的cwRsync为例讲解。

2、 Rsync服务端

2.1、安装

源码安装

下载rsync服务端程序，

tar zxvf rsync-2.6.9.tar.gz

cd rsync-2.6.9

./configure --prefix=/usr/local/rsync

make

make install

rpm安装

yum install rsync

本文以yum来安装

2.2、服务器运行模式

模式选择

对于负载比较重的，选择独立服务启动

对于负载比较轻的，选择以xinet.d启动，选择此模式，记得要安装xinet.d （yum install xinet.d）

独立运行模式

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf （本例选择此方法）

如果需要系统开机启动，可以把上面命令加入到/etc/rc.local文件中。

2.3、服务器配置

创建配置文件和口令文件

touch /etc/rsyncd.conf 主要配置文件

touch /etc/rsync.pas 口令文件，此文件需要注意客户端和服务器端的格式，后续会讲解

关于配置文件rsyncd.conf讲解

Rsync的配置文件，分为两个部分，全局配置和模块配置，

#全局设置

uid = root 指定模块以root用户来传输文件，如果匿名用户的话，这里填写nobody

gid = root 指定模块以root用户组来传输文件，如果匿名传输的话，这里填写nobody

use chroot = yes 设置为YES，表示在传输文件之前，定位到根目录下，即PATH指定的目录，这样做，主要是出于安全考虑

pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件

lock file = /var/run/rsync.lock 指定支持max connections的锁文件

log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件，而不是传送给syslog

#模块设置

[Jindie] 模块名称，后续上传下载文件配置时，直接使用此名称名来指定

path = /sda1/JDdatabase 指定此模块的根目录，即文件上传下载都是在此目录下进行

ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误

read only = false 指定是否允许上传，false代表允许上传。

write only = false 指定是否允许下载，false代表允许下载。

list = true 指定当客户请求列出可以使用的模块，该模块是否被列出。如果false，可以创建隐藏的模块。

hosts allow = 192.168.1.65 指定哪些客户端可以访问连接此模块，可以指定单个IP，整个网段，比如此例为单个IP

hosts deny = 0.0.0.0/0 指定哪些客户端不允许连接此模块，此例为0.0.0.0/0网段，代表整个网络

通常表示客户端表示方式，有如下：

单个IP：192.168.1.65

网段IP：192.168.1.0/24

可解析的主机地址：www.baidu.com

域内主机：*.wine9.com

所有主机：*

多个列表项，要用空格隔开；

auth users = xy 指定认证用户名，通常由空格或者逗号分隔用户名列表，只有这些用户可以连接此模块，用户名和密码，以明文形式，保存在口令文件中

syslog facility = local5 指定日志等级，一般指发送给rsyslog的日志等级；

secrets file = /etc/rsync.pas 指定Rsync认证口令文件，只有配置了auth users，此配置才生效，这里要注意客户端和服务器端的配置格式。

ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件，这对于在需要备份的目录中有些不应该被备份者获取的文件时非常有意义

timeout 600 设置客户端连接超时时间，确保服务器不会永远等待一个奔溃的客户端。

dont compress=*.gz 指定哪些文件在传输之前，不需要进行压缩的文件。

max connections = 4 指定此模块最大的并发连接数为4，超过的告知随后再试

exclude指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。

Exclude from指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义

include指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式

Include from指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义

2.4、建立Rsync口令文件

创建口令文件

touch /etc/rsync.pas #口令文件，保存Rsync用户和密码验证信息，不需要是系统账号;

vi /etc/rsync.pas

xy:abc123 #格式为用户名：口令，此账号不用是系统账号

注意与后面的客户端口令文件的格式进行比较，相较两者不同点，这一点，有很多童鞋容易弄错了，重要的事情说三遍，注意格式，注意格式，注意格式。

2.5、口令文件权限

口令文件，需要设置口令文件权限，这一步同样非常重要，Rsync对权限的要求还是比较敏感的。

#chown root:root /etc/rsync.pas #root:root 指的是当前启动此服务的用户，并设置为属主

#chmod 600 /etc/rsync.pas #指定启动此Rsync服务的用户的权限为只读权限，也就是前面提到的属主的权限。

3、 Rsync客户端

客户端本例，选择windows的cwrsync工具，安装不用多说。

3.1、创建口令文件

新建rsync.pas文件，添加内如如下：

因为我使用的用户名是xy，此设置的密码，必须跟服务器端rsync.pas口令文件中设置的密码一样，比如本例口令为abc123;

那么，本例中设置为：

abc123

3.2、口令文件权限

windows 口令文件的权限一定要设置正确，否则验证无法通过，应将口令文件c:\rsync.pas的权限加入系统登录的账号读取权限以及设置其为该文件的所有者（这里跟服务器端有点不同，正常来说，无论windows还是liunx，服务器端的这个用户名，应该是启动Rsync服务的用户名，但是对于 windows客户端来说，一般都是系统登录账号）

定位到cwRsync客户端安装目录，C:\Program Files (x86)\cwRsync\bin

chmod 600 /cygdrive/c/rsync.pas

chown administrator /cygdrive/c/rsync.pas #如果没有chown.exe文件，可以从服务器端的安装目录的bin目录下直接复制过来就可以使用，

注：Rsync对路径的书写格式，与windows不同，它是遵循，postfix书写格式，

3.3、同步文件

Rsync同步的六种格式

当Rsync已经做好服务器端和客户端的配置之后，接下来就是通过Rsync命令，像服务器发起命令请求，来完成文件的同步操作，Rsync的功能非常强大，提供了六种格式，来支持Rsync的六种工作方式；

rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [[email protected]]HOST:DEST
rsync [OPTION]... [[email protected]]HOST:SRC DEST
rsync [OPTION]... [[email protected]]HOST::SRC DEST
rsync [OPTION]... SRC [[email protected]]HOST::DEST
rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]

对于以上六种命令格式，

1） rsync [OPTION]... SRC DEST

拷贝本地文件，当SRC和DEST路径信息都不包含有单个冒号“：“，就启动此工作模式，

rsync.exe –vzrtopg /data /backup

2） rsync [OPTION]... SRC [[email protected]]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src

3) rsync [OPTION]... [[email protected]]HOST:SRC DEST
使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data

4) rsync [OPTION]... [[email protected]]HOST::SRC DEST
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av [email protected]::www /databack，其中www是在rsync配置文件中，指定的模块的名称。

5) rsync [OPTION]... SRC [[email protected]]HOST::DEST
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack [email protected]::www，其中www是在rsync配置文件中，指定的模块的名称。

6) rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]
列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www

上传同步文件

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt [email protected]::Jindie --password-file=/cygdrive/c/rsync.pas

解释：

rsync.exe 即rsync命令

vzrtopg 指定参数，传输的详细信息；

--delete 删除哪些在DST中存在，而SRC中没有存在的文件或者目录

/cygdrive/c/test/*.txt 注意这里的格式，不能使用windows的格式，必须使用POSTFIX标准格式；

[email protected]::Jindie xy是有权访问服务器的用户名，192.168.31.13是服务器地址，Jindie是服务器端配置文件中指定的模块，这个模块中指定用户信息和同步路径；服务器地址和模块之间，用两个冒号隔开。

--password-file=/cygdrive/c/rsync.pas 口令文件，当中含有xy账号的密码，要与服务器端配置文件rsyncd.conf中指定的口令文件中设置的密码相同。

下载同步文件

rsync.exe -vzrtopg --progress --delete [email protected]::Jindie /cygdrive/c/test --password-file=/cygdrive/c/rsync.pas