rsync 数据备份+cron+mailx案例

Posted 2021-01-27 su-root

大家都知道数据非常重要的，需要经常备份，如果备份了，但无法恢复还原，那就证明你备份的很失败，所有当我们备份了数据需要检查是否备份完整，是否可用可恢复。以下为一个企业案例：

 

某公司里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了，数据就会丢失，现在领导要求你把数据在其他机器上做一个周期性定时备份。要求如下：

每天晚上00点整在web服务器上打包备份系统配置文件、网站主程序及访问日志，并通过rsync命令推送到服务器上备份保留（备份思路可以是在本地按日期打包，然后再推送到备份服务器上）

具体要求如下：

1、web服务器和备份服务器的备份目录必须为/backup。

2、系统配置文件包括：

　　a) 定时任务服务的配置文件（/var/spool/cron/root）

　　b) 开机自启动的配置文件（/etc/rc.local）

　　c) 日常脚本的目录（/server/scripts）

　　d) 防火墙iptables的配置文件（/etc/sysconfig/iptables）

3、web服务器站点目录假定位（var/www/html）。

4、web服务器本地仅保留7天内的备份数据。

5、备份服务器上/backup/下仅保留180天的数据，180天前的清除。

6、备份服务器上检查每天从web服务器上备份的数据结果是否正常，并将每天的备份结果23点整发给管理员邮箱。

具体规划配置如下：

web服务器IP：192.168.43.119     备份(backup)服务器IP：192.168.43.200

第一步：备份服务器上部署rsync服务，并且在web服务器上测试是否可以推送成功。

服务端配置：（backup）

[[email protected] /]# vi /etc/rsyncd.conf

[[email protected] /]# cat /etc/rsyncd.conf

#sync server

#created by bqh

##rsyncd.conf start##

uid = rsync

gid = rsync

use chroot = no

max connections = 2000

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 192.168.43.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

##############################################

[backup]

comment = www.bqh.com 

path = /backup

[[email protected] /]# useradd rsync -s /sbin/nologin -M

[[email protected] /]# id rsync

uid=501(rsync) gid=501(rsync) 组=501(rsync)

[[email protected] /]# mkdir -p /backup

[[email protected] /]# chown -R rsync /backup

[[email protected] /]# echo "rsync_backup:123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync --daemon

[[email protected] /]# ps -ef|grep rsync|grep -v grep

root       1766      1  0 21:10 ?        00:00:00 rsync --daemon

[[email protected] /]# lsof -i :873

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

rsync   1766 root    3u  IPv4  17093      0t0  TCP *:rsync (LISTEN)

rsync   1766 root    5u  IPv6  17094      0t0  TCP *:rsync (LISTEN)

[[email protected] /]#

客户端配置： （ web服务器端）

[[email protected] /]# mkdir /backup

[[email protected] /]# touch /backup/1.txt

[[email protected] /]# echo "123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync -avz /backup/1.txt [email protected]::backup --password-fi

le=/etc/rsync.password

sending incremental file list

1.txt

 

sent 62 bytes  received 27 bytes  178.00 bytes/sec

total size is 0  speedup is 0.00

[[email protected] /]#

在备份服务器上查看是否推送成功：

第二步：web服务器本地实现打包：（配置文件，程序，日志分开打包）

tar zcvf /backup/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/iptables /server/scripts

tar zcvf /backup/www_$(date +%F).tar.gz /var/html/www/

tar zcvf /backup/log_$(date +%F).tar.gz /app/logs/

我们可以写一个备份推送脚本backup.sh

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F ‘[ :]+‘ ‘NR==2 {print $4}‘)

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scriptstar zcf $Path/www_$(date +%F).tar.gz /var/html/www/

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

我们在备份（backup）服务器上查看执行脚本是否成功推送：

第三步：web服务器和backup服务器分别配置定时任务

web:

crontab –e

##web to backup##

00 00 * * * /bin/sh /server/scripts/backup.sh &>/dev/null

crontab -l

backup:

vi del.sh

find /backup -type f -name "*.tar.gz" -mtime +180|xargs rm -f

/bin/sh /server/scripts/del.sh

crontab –e

00 00 * * * /bin/sh  /server/scripts/del.sh >/dev/null 2&1

crontab -l

第四步：检查备份服务器备份结果是否正常（采用flag+数据包md5sum指纹）

web服务器脚本修改如下：

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F ‘[ :]+‘ ‘NR==2 {print $4}‘)

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scripts && ar zcf $Path/www_$(date +%F).tar.gz /var/html/www/ &&

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/ &&

##flag+md5sum

find /backup/ -type f -name "*$(date +%F).tar.gz"|xargs md5sum >>$Path/flag_$(date +%F)

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

在backup服务器上查看是否推送过来：

md5sum –c 需要检查的文件，ok为成功，failed为失败。

注意：如果备份服务器接收的包里没有flagmd5文件也会报错。

所以我们在工作中，只需要过滤flag文件是否有FAILED或者失败字符就可以了。

md5sum –c 检查文件 |grep “失败”

可以把检查文件是否备份成功（完整备份）命令写入脚本控制。

#!/bin/sh

find /backup -type f -name "flag_$(date +%F)"|xargs md5sum -c|grep "失败" >/opt/mail_bqh_$(

dae +%F).txt

mail -s "$(date +%U%T) back" [email protected] </opt/mail_bqh_$(date +%F).txt

cat /opt/mail_bqh_.txt

接下来我们写定时任务检查备份结果并发送至qq邮箱：

00 23 * * * /bin/sh /server/scripts/chback.sh >/dev/null 2&1

第五步：整体备份测试

详细略….

用date –s 修改时间测试