运维笔记：Linux搭建rsync备用服务器，及配置文件详解

Posted 2021-07-25 the丶only

rsync官方网址：https://rsync.samba.org/

一：rsync介绍

rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份工具。

在守护进程模式（daemon mode）下，rsync默认监听TCP端口873，以原生rsync传输协议或者通过远程shell如RSH或者SSH提供文件。SSH模式下，rsync客户端运行程序必须同时在本地和远程机器上安装。

全量与增量，全量：将全部数据进行传输覆盖，增量：只传输差异部分的数据，rsync通过独特的“quick check”算法，实现增量数据传输

rsync的功能
类似与cp命令 　　 — （本地备份传输数据）
类似于scp命令 　 — （远程备份传输数据）
类似于rm命令 — （实现无差异同步备份）
类似于ls命令 — （本地文件信息查看）

模拟环境，两台机器：Linux 系统Centos 7
备份服务器ip：172.16.2.4， 客户端服务器（nfs存储共享）ip:172.16.2.3
目的：将nfs服务器/www目录的数据，备份到备份服务器的/backup/web目录

扩展配置：
1：rsync+inotify实时监控同步备份
2：rsync+sersync实时监控同步备份

---

---

---

二：rsync的安装：

服务端（备份服务器）和客户端都要安装。

yum -y install rsync

如果想安装最新版本，则自己wget官网最新版本，然后编译安装。

基本命令语法：

Local:  rsync [OPTION...] SRC... [DEST]
 
Access via remote shell:
  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
 
Access via rsync daemon:
  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

当然如果觉得记得复杂的话，就记住从前往后传即可：rsync 参数 前面(源路径) 后面(目的路径)

注：源路径如果是一个目录的话，带上尾随斜线和不带尾随斜线是不一样的，不带尾随斜线表示的是整个目录包括目录本身，带上尾随斜线表示的是目录中的文件，不包括目录本身。

---

---

---

三：三种传输方式

1：本地模式：类似与cp命令:

将/etc/fstab同步至/tmp目录，如果fstab加斜杠/，则将fstab目录下所有文件同步至/tmp。
以下命令类似功能 cp /etc/fstab /tmp

rsync /etc/fstab /tmp       #在本地同步，将fstab目录同步至/tmp
rsync /etc/fstab/ /tmp		#将fstab目录下所有文件同步至/tmp

---

---

2：远程模式：类似于scp命令：

远程分pull下载和push上传两种：

rsync -r /www 172.16.2.4:/backup/web       # 将本地/www目录上传至远程主机的/backup/web下，
											 远程/backup/web目录和本地/www保持同步
rsync -r 172.16.2.4:/backup/web /www       # 将远程主机的/backup/web目录下载到本地/www下，	
											 本地/www目录和远程/backup/web保持同步

---

---

3：守护进程模式（最主要的用法）：

#注意：如果是下载数据，远端服务器源数据目录权限可以为任意权限
#注意：如果是上传数据，远端接收文件的目录权限必须是rsync权限

3.1 服务端配置

创建rsync系统用户

 useradd rsync -s /sbin/nologin -M  				 #创建一个rsync的虚拟用户，只被程序使用

修改服务端配置文件

vim /etc/rsyncd.conf

配置如下：
fake super = yes 这个选项版本以前是没有的，在新版本中如果不加上这个参数，会报权限错误 rsync: chgrp “.hosts.G6sZha” (in backup) failed: Operation not permitted (1)

注：配置文件最后要删除掉所有#注释部分的备注信息，否则同步过程有可能会失败

uid = rsync                #用户 远端命令使用rsync访问共享目录
gid = rsync                #用户组
use chroot = no            #安全相关
max connections = 200      #最大连接数
timeout = 300              #超时时间（不进行备份多长时间断开）
pid file = /var/run/rsyncd.pid             #进程对应进程号文件（存放服务运行时进程id号）
lock file = /var/run/rsync.lock            #锁文件
log file = /var/log/rsyncd.log             #日志文件，显示出错信息
fake super = yes 		   #在新版本中必须加这个
#模块信息：
[backup]
comment = "backup"
path = /backup/web       #模块对应的位置（路径）
ignore errors            #忽略错误程序
read only = false        #是否只读（这里是假，表示能写入）
list = false             #是否可以列表*
hosts allow = 172.16.2.0/24        #准许访问rsync服务器客户范围（白名单）
#hosts deny = 0.0.0.0/32            #禁止访问rsync服务器客户范围（黑名单）
auth users = rsync_backup          #不存在的用户，只用于认证
#设置进行连接认证的密钥文件：
secrets file = /etc/rsync.password    #认证时密钥文件

创建数据备份存储目录

创建备份目录，将backup目录及目录以下文件权限改为rsync

mkdir /backup/web
chown -R rsync.rsync /backup/  				  #一定要将文件属主和属组改成rsync用户

创建认证用户密码文件，修改文件权限

注：密码文件必须是600权限，否则报错

echo "rsync_backup:123456" >/etc/rsync.password
chmod 600 /etc/rsync.password 				 #为了安全起见，把认证用户的密码文件权限改成600

启动rsync守护进程，并查看是否启动

rsync --daemon									#启动守护进程
ps -ef |grep rsync								#查看是否启动进程
netstat -lntup |grep rsync						#查看是否监听873端口

查看已经正常启动并监听873端口：

3.2 客户端配置

创建密码文件，客户端密码文件中，只需要密码即可，密码文件的权限是600

echo "123456" >/etc/rsync.password
chmod 600 /etc/rsync.password

3.3 传输测试，相关参数为服务端配置文件设置的

客户端上传至服务端测试：
/www/将本地www文件下所有文件上传至备份服务器172.16.2.4。如果是/www，则是将整个www文件夹备份过去。

rsync_backup为服务器中配置文件的auth users参数，::backup是以后的模块参数及配置文件中的[backup]，后面接配置文件中的密码文件路径，免交互，不用输入密码就可传输。

rsync -avz /www/ rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password

在客户端下载测试：
将备份服务器的backup模块配置的path路径的文件下载至本地www目录下。

 rsync -avz rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password /www

到此配置完成！！！

3.4 添加开机启动守护进程

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

---

---

---

四：rsync命令参数（参考）

参数	说明
-v	–verbose 详细模式输出
-a	–archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-z	对备份的文件在传输时进行压缩处理
-v	–verbose 详细模式输出
-v	–verbose 详细模式输出
-v	–verbose 详细模式输出
-P	显示进度
-r,	–recursive 对子目录以递归模式处理
-l,	–links 保留软链结
-p,	–perms 保持文件权限
-o,	–owner 保持文件属主信息
-g,	–group 保持文件属组信息
-D,	–devices 保持设备文件信息
-t,	–times 保持文件时间信息
-e,	–rsh=command 指定使用rsh、ssh方式进行数据同步
-S,	–sparse 对稀疏文件进行特殊处理以节省DST的空间
-n,	–dry-run 现实哪些文件将被传输
-w,	–whole-file 拷贝文件，不进行增量检测
-B,	–block-size=SIZE 检验算法使用的块尺寸，默认是700字节。
-x,	–one-file-system 不要跨越文件系统边界
-R,	-relative 使用相对路径信息
-b,	–backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。
-u,	–update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件
-q,	–quiet 精简输出模式
-c,	–checksum 打开校验开关，强制对文件传输进行校验
–exclude=PATTERN	指定排除不需要传输的文件模式
–exclude-from=FILE	排除FILE中指定模式的文件
–bwlimit=KBPS	限制I/O带宽，KBytes per second
–delete	删除那些DST中SRC没有的文件
–password-file=FILE	从FILE中得到密码

平常经常使用命令参数有rsync -avz

排除同步：–exclude=a （排除a）

rsync -avz --exclude=a /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

排除a 和b

[root@nfs01 backup]# rsync -avz --exclude={a,b} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

排除连续的a-f

rsync -avz --exclude={a..f} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

完全同步：无差异同步–delete

rsync -avz --delete /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

---

---

---

五：服务端配置文件属性参数详解（参考）

文件配置在vim /etc/rsyncd.conf，没有的话需自己创建。
参数配置分为全局参数和模块参数
全局参数如下：

常见的全局参数：	说明
port	# 指定后台程序使用的端口号，默认为873。
uid	# 该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。
gid	# 该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections	# 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。 默认值是0，也就是没有限制。
lock file	# 指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
motd file	# " motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户， 默认是没有motd文件的。
log file	# " log file"指定rsync的日志文件，而不将日志发送给syslog。
pid file	# 指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。
hosts allow =	# 单个IP地址或网络地址 ,允许访问的客户机地址

模块参数[modul]如下：

常见的模块参数：	主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，服务器真正同步的数据是通过 path 来指定的。
Comment	# 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。 默认没有描述定义。
Path	# 指定该模块的供备份的目录树路径，该参数是必须指定的。
read only	# yes为只允许下载，no为可以下载和上传文件到服务器
exclude	# 用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。 这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传。
exclude from	# 指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义， 每个文件或目录需要占用一行
include	# 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from	# 指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users	# 该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块， 这里的用户和系统用户没有任何关系。 如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file	# 该选项指定一个包含定义用户名:密码对的文件。 只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
hosts allow	# 指定哪些IP的客户允许连接该模块。定义可以是以下形式： 单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开，整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0，“*”则表示所有，默认是允许所有主机连接。
hosts deny	# 指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。 默认是没有hosts deny定义。
list	# 该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。 如果设置该选项为false，可以创建隐藏的模块。默认值是true。
timeout	# 通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
ignore errors	# 忽略I/P不正确 .
ignore nonreadable	# 忽略对用户没有可读的文件.