Rsync服务的实战

Posted 2022-07-31 223zhp

Rsync服务

Rsync

rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于Unix/linux/Windows等多种操作系统平台。

 

rsync 简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及曾量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

在同步数据的时候，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化同步，但是需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可是实现快速的同步备份数据。

 

rsync监听端口：873

rsync运行模式：C/S

client/server

客户端/服务端

小提示：利用rsync还可以实现删除文件和目录的功能，这又相当于rm命令，一个rsync相当于scp、cp、rm，但是还优于他们的每一个命令。

 

 

生产场景架构集群备份方案

1.借助cron+rsync把所有客户服务器数据同步到备份服务器。 2.针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案。 3.通过本地打包备份，然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果。 4.定期将IDC机房的数据 备份公司的内部服务器，防止机房地震及火灾问题导致数据丢失。 5.实时同步，解决存储服务器等的单点问题。

 

备份的类型

全备

将数据全部备份下来

增备

全备之后新增的数据，备份下来

rsync的应用场景

推：所有主机推送本地数据至Rsync备份服务器，会导致数据同步缓慢(适合少量数据备份)

 

拉： rsync备份服务端拉取所有主机上的数据，会导致备份服务器开销大

 

大量数据备份场景

 

异地备份

rsync的三种模式

本地方式

类似于cp

[root@web01 ~]# rsync /etc/b.txt /tmp/

    #本地拷贝数据命令
    Local:  rsync [OPTION...] SRC... [DEST]

#本地拷贝数据示例 ? [root@backup ~]# rsync -avz /etc/passwd /tmp/ ? rsync #备份命令(cp) ? [options] #选项 ? SRC... #本地源文件 ? [DEST] #本地目标文件

远程方式

类似于scp

   Access via remote shell:
     Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
     Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

rsync -avz root@172.16.1.41:/tmp ./

pull拉:
[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp ./

 

rysnc -avz /var root@172.16.1.41:/tmp/

push推:
[root@web01 ~]# rsync -avz /var root@172.16.1.41:/tmp/

---

注意： rsync不管是推还是拉，推送目录的时候带/和不带/

1.带/ ：/etc/ 将etc目录下的所有内容，推过去（拉过来）

2.不带/：/etc 将etc目录整体推过去（拉过来）

 

守护进程

Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
?
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

rsync -avz /data/ rsync_backup@172.16.1.41::zls

主机名	外网IP	内网IP	角色
backup	10.0.0.41	172.16.1.41	服务端
web01	10.0.0.7	172.16.1.7	客户端

服务端配置

1.服务端安装rsync

[root@backup ~]# yum -y install rsync

2.服务端，修改配置文件

[root@backup ~]# vim /etc/rsyncd.conf
#用户名
uid = rsync
#用户组
gid = rsync
#端口
port = 873
#无需让rsync以root身份运行
fake super = yes
#禁锢目录，不允许操作指定目录之外的目录
use chroot = no
#最大连接数200
max connections = 200
#超时时间600s 10分钟
timeout = 600
#忽略错误
ignore errors
#关闭只读
read only = false
#不允许查看模块信息
list = false
#认证用户
auth users = rsync_backup
#认证用户的密码文件
secrets file = /etc/rsync.passwd
#日志文件
log file = /var/log/rsyncd.log
#####################################
#模块(任意名字都可以)
[zls]
#注释信息（无关紧要）
comment = welcome to oldboyedu backup!
#路径
path = /backup

 

2.服务端（backup），创建用户

#检查用户是否存在
[root@backup ~]# id rsync
id: rsync: no such user
?
#创建用户（不允许登录，不创建家目录）
[root@backup ~]# useradd rsync -s /sbin/nologin -M
-s：指定登录的shell
-M：不创建家目录

3.服务端，创建一个备份目录

[root@backup ~]# mkdir /backup
#授权rsync用户
[root@backup ~]# chown -R rsync.rsync /backup/

 

4.服务端，创建虚拟用户及密码文件

#创建用户名和密码文件
[root@backup ~]# vim /etc/rsync.passwd
rsync_backup:123456
#授权
[root@backup ~]# chmod 600 /etc/rsync.passwd

 

5.服务端，启动rsync添加开机自启

[root@backup ~]# ll /usr/lib/systemd/system/rsyncd.service 
-rw-r--r-- 1 root root 237 Apr 26 01:17 /usr/lib/systemd/system/rsyncd.service
#启动rsyncd守护进程
[root@backup ~]# systemctl start rsyncd
#允许开机自启
[root@backup ~]# systemctl enable rsyncd

 

客户端配置

1.安装rsync

[root@web01 ~]# yum install -y rsync

2.创建虚拟用户的密码文件

#创建用户密码文件
[root@web01 ~]# vim /etc/rsync.pass
123456
#授权
[root@web01 ~]# chmod 600 /etc/rsync.pass

 

rsync实战

实战一

[root@web01 ~]# mkdir /data
[root@web01 ~]# cd /data
[root@web01 data]# touch file1..100
[root@web01 data]# ll

推：

[root@web01 ~]# rsync -avz /data/ rsync_backup@172.16.1.41::zls

 

拉：

[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::zls /root/

 

报错：

 

auth failed on module [zls]

1.客户端密码文件：600权限

2.服务端密码文件：600权限

3.客户端密码文件中，只写密码，不写用户

4.服务端密码文件中，用户:密码

 

服务端的/backup目录权限不是 rsync

chown -R rsync.rsync /backup

 

认证失败：

1.先检查配置文件：服务端：/etc/rsyncd.conf

[模块]

2.检查服务端，/etc/rsync.passwd文件的权限是不是600

3.再检查服务端，/etc/rsync.passwd文件的内容，是不是 用户名:密码

rsyncd.conf 里的 rsync_backup

4.再检查客户端，/etc/rsync.pass 权限600

5./etc/rsync.pass 内容只写密码

6.修改完配置文件要重启服务，[backup] [zls]

systemctl restart rsyncd

 

Rsync选项

-a                          #归档模式传输, 等于-tropgDl
-v                          #详细模式输出, 打印速率, 文件数量等
-z                          #传输时进行压缩以提高效率
-r                          #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t                          #保持文件时间信息
-o                          #保持文件属主信息
-p                          #保持文件权限
-g                          #保持文件属组信息
-l                          #保留软连接
-P                          #显示同步的过程及传输时的进度等信息
-D                          #保持设备文件信息
-L                          #保留软连接指向的目标文件
-e                          #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN           #指定排除不需要传输的文件模式
--exclude-from=file         #文件名所在的目录文件
--bwlimit=100               #限速传输
--partial                   #断点续传
--delete                    #让目标目录和源目录数据保持一致
--password-file=xxx         #使用密码文件

 

rsync无差异同步

rsync -avz --delete  rsync_backup@172.16.1.41::zls
?
?
?
注意 [root@web01 ~]# -avz etc/inc7/ --delete  rsync_backup@172.16.1.41::zhp  这个命令 
因为如果执行了话他会全部删除

要先删除不想发的东西
然后在执行rsync -avz etc rsync_backup@172.16.1.41::zhp
这条命令

 

 

 

rsync限速

rsync -avz --bwlimit=1024 /etc rsync_backup@172.16.1.41::zls

 

 

客户端需求

1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02

#实现第一部分内容，将备份的数据目录创建出来
[root@web01 ~]# vim rsync.sh 
#!/bin/bash
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
mkdir -p /backup/$SRC
?
?
[root@web01 ~]# sh rsync.sh 
[root@web01 ~]# ll /backup/
total 0
drwxr-xr-x 2 root root 6 Aug  2 19:00 web01_172.16.1.7_2019-08-02

 

2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02

#!/bin/bash
?
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
mkdir -p /backup/$SRC
?
tar zcf /backup/$SRC/conf_$DATE.tar.gz /var/log/messages /etc/passwd /etc/gshadow /etc/shadow /etc/group &>/dev/null

 

3.客户端最后将备份的数据进行推送至备份服务器

#!/bin/bash
?
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
export RSYNC_PASSWORD=123456
?
mkdir -p /backup/$SRC
?
tar zcf /backup/$SRC/conf_$DATE.tar.gz /var/log/messages /etc/passwd /etc/gshadow /etc/shadow /etc/group &>/dev/null
?
rsync -avz /backup/$SRC rsync_backup@172.16.1.41::zls
?

测试命令：

[root@web01 ~]# for n in `seq -w 30`;do date -s "201908$n";sh rsync.sh;done
[root@web01 ~]# ll /backup/
[root@backup ~]# ll   每天的备份都同步过来了
#!/bin/bash
?
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
export RSYNC_PASSWORD=123456
?
mkdir -p /backup/$SRC
?
tar zcf /backup/$SRC/conf_$DATE.tar.gz /var/log/messages /etc/passwd /etc/gshadow /etc/shadow /etc/group &>/dev/null
?
?

 

4.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

#!/bin/bash
?
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
export RSYNC_PASSWORD=123456
?
mkdir -p /backup/$SRC
?
tar zcf /backup/$SRC/conf_$DATE.tar.gz /var/log/messages /etc/passwd /etc/gshadow /etc/shadow /etc/group &>/dev/null
?
md5sum /backup/$SRC/conf_$DATE.tar.gz > /backup/res.txt
?
rsync -az /backup/ rsync_backup@172.16.1.41::zls
?
find /backup/ -type d -mtime +7 |xargs rm -fr

 

5.客户端每天凌晨1点定时执行该脚本

[root@web01 ~]# crontab -e
#每天凌晨一点备份重要数据 By:zls  At:2019-08-02
00 01 * * * /bin/sh /root/rsync.sh &>/dev/null

 

服务端需求

1.服务端部署rsync，用于接收客户端推送过来的备份数据 2.服务端需要每天校验客户端推送过来的数据是否完整 3.服务端需要每天校验的结果通知给管理员

#安装mailx
yum install -y mailx
?
#配置mail.rc
vim /etc/mail.rc
?
Shift + g
?
set from=[e-mail]
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=[e-mail]
set smtp-auth-password=授权码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

4.服务端仅保留6个月的备份数据,其余的全部删除

#!/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
H=`hostname`
IP=`ifconfig eth1|awk ‘NR==2print $2‘`
DATE=`date +%F`
SRC=$H_$IP_$DATE
?
md5sum -c /backup/res.txt|mail -s "$DATE check backup" [e-mail]
?
find /backup -type d -mtime +180|xargs rm -fr

 

#xxx by:zls at:xx
01 00 * * * /bin/sh /root/check_md5.sh &>/dev/null