rsync 数据备份+cron+mailx案例

Posted su-root

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync 数据备份+cron+mailx案例相关的知识,希望对你有一定的参考价值。

大家都知道数据非常重要的,需要经常备份,如果备份了,但无法恢复还原,那就证明你备份的很失败,所有当我们备份了数据需要检查是否备份完整,是否可用可恢复。以下为一个企业案例:

 

某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其他机器上做一个周期性定时备份。要求如下:

每天晚上00点整在web服务器上打包备份系统配置文件、网站主程序及访问日志,并通过rsync命令推送到服务器上备份保留(备份思路可以是在本地按日期打包,然后再推送到备份服务器上)

具体要求如下:

1、web服务器和备份服务器的备份目录必须为/backup。

2、系统配置文件包括:

  a) 定时任务服务的配置文件(/var/spool/cron/root)

  b) 开机自启动的配置文件(/etc/rc.local)

  c) 日常脚本的目录(/server/scripts)

  d) 防火墙iptables的配置文件(/etc/sysconfig/iptables)

3、web服务器站点目录假定位(var/www/html)。

4、web服务器本地仅保留7天内的备份数据。

5、备份服务器上/backup/下仅保留180天的数据,180天前的清除。

6、备份服务器上检查每天从web服务器上备份的数据结果是否正常,并将每天的备份结果23点整发给管理员邮箱。

具体规划配置如下:

web服务器IP:192.168.43.119     备份(backup)服务器IP:192.168.43.200

第一步:备份服务器上部署rsync服务,并且在web服务器上测试是否可以推送成功。

服务端配置:(backup)

[[email protected] /]# vi /etc/rsyncd.conf

[[email protected] /]# cat /etc/rsyncd.conf

#sync server

#created by bqh

##rsyncd.conf start##

uid = rsync

gid = rsync

use chroot = no

max connections = 2000

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 192.168.43.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

##############################################

[backup]

comment = www.bqh.com 

path = /backup

技术分享图片

[[email protected] /]# useradd rsync -s /sbin/nologin -M

[[email protected] /]# id rsync

uid=501(rsync) gid=501(rsync) 组=501(rsync)

[[email protected] /]# mkdir -p /backup

[[email protected] /]# chown -R rsync /backup

[[email protected] /]# echo "rsync_backup:123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync --daemon

[[email protected] /]# ps -ef|grep rsync|grep -v grep

root       1766      1  0 21:10 ?        00:00:00 rsync --daemon

[[email protected] /]# lsof -i :873

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

rsync   1766 root    3u  IPv4  17093      0t0  TCP *:rsync (LISTEN)

rsync   1766 root    5u  IPv6  17094      0t0  TCP *:rsync (LISTEN)

[[email protected] /]#

技术分享图片

客户端配置: ( web服务器端)

[[email protected] /]# mkdir /backup

[[email protected] /]# touch /backup/1.txt

[[email protected] /]# echo "123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync -avz /backup/1.txt [email protected]::backup --password-fi

le=/etc/rsync.password

sending incremental file list

1.txt

 

sent 62 bytes  received 27 bytes  178.00 bytes/sec

total size is 0  speedup is 0.00

[[email protected] /]#

技术分享图片

在备份服务器上查看是否推送成功:

技术分享图片

第二步:web服务器本地实现打包:(配置文件,程序,日志分开打包)

tar zcvf /backup/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/iptables /server/scripts

tar zcvf /backup/www_$(date +%F).tar.gz /var/html/www/

tar zcvf /backup/log_$(date +%F).tar.gz /app/logs/

技术分享图片

我们可以写一个备份推送脚本backup.sh

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F ‘[ :]+‘ ‘NR==2 {print $4}‘)

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scriptstar zcf $Path/www_$(date +%F).tar.gz /var/html/www/

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

技术分享图片

我们在备份(backup)服务器上查看执行脚本是否成功推送:

技术分享图片

第三步:web服务器和backup服务器分别配置定时任务

web:

crontab –e

##web to backup##

00 00 * * * /bin/sh /server/scripts/backup.sh &>/dev/null

crontab -l

技术分享图片

backup:

vi del.sh

find /backup -type f -name "*.tar.gz" -mtime +180|xargs rm -f

/bin/sh /server/scripts/del.sh

crontab –e

00 00 * * * /bin/sh  /server/scripts/del.sh >/dev/null 2&1

crontab -l

第四步:检查备份服务器备份结果是否正常(采用flag+数据包md5sum指纹)

web服务器脚本修改如下:

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F ‘[ :]+‘ ‘NR==2 {print $4}‘)

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scripts && ar zcf $Path/www_$(date +%F).tar.gz /var/html/www/ &&

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/ &&

##flag+md5sum

find /backup/ -type f -name "*$(date +%F).tar.gz"|xargs md5sum >>$Path/flag_$(date +%F)

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

技术分享图片

在backup服务器上查看是否推送过来:

技术分享图片

md5sum –c 需要检查的文件,ok为成功,failed为失败。

技术分享图片

注意:如果备份服务器接收的包里没有flagmd5文件也会报错。

所以我们在工作中,只需要过滤flag文件是否有FAILED或者失败字符就可以了。

md5sum –c 检查文件 |grep “失败”

可以把检查文件是否备份成功(完整备份)命令写入脚本控制。

#!/bin/sh

find /backup -type f -name "flag_$(date +%F)"|xargs md5sum -c|grep "失败" >/opt/mail_bqh_$(

dae +%F).txt

mail -s "$(date +%U%T) back" [email protected] </opt/mail_bqh_$(date +%F).txt

cat /opt/mail_bqh_.txt

技术分享图片

技术分享图片

接下来我们写定时任务检查备份结果并发送至qq邮箱:

00 23 * * * /bin/sh /server/scripts/chback.sh >/dev/null 2&1

技术分享图片

第五步:整体备份测试

详细略….

用date –s 修改时间测试

 

以上是关于rsync 数据备份+cron+mailx案例的主要内容,如果未能解决你的问题,请参考以下文章

搭建企业级全网数据定时备份方案cron + rsync

全网备份案例

2.创建备份服务器: ntp+cron rsync --daemon

rsync+crond企业实战案例

rsync实现全网备份案例

rsync+inotify实时同步案例