linux自动代码增量备份 结合 全量备份

Posted 2020-11-16

需求说明

系统环境：linux（centos7）
备份内容：增量备份 结合 全量备份

公司中的生产服务器数据非常重要，所以我们需要通过备份服务器将生产服务器的数据进行备份。

rsync的增量备份，不单单会同步新增的内容，就连删除的内容也会同步。假如管理代码人员误操作将代码误删除，那么备份服务器检测到备份原的数据产生变化后，也会与其同步，此时生产服务器与备份服务器的代码都会丢失。

增量备份要求的频率较高，但在生产与备份服务器之间的网络资源消耗较少，所以我们可以使用rsync来做增量备份，然后结合在备份服务器本地内做全量备份。
这样不但减少了生产与备份服务器使用了全量备份的网络资源开销，还避免了数据大量丢失的情况。

增量备份

使用linux的rsync功能来增量备份开发代码

服务器端

• 安装rsync

yum -y install rsync

• 添加配置文件

如果没有/etc/rsyncd.conf 文件，需要手动创建，如果有直接修改即可。

服务端配置文件/etc/rsyncd.conf 内容如下：

# 在文件最下方添加内容

pid file=/var/rsync/rsync.pid
port=873
lock file=/var/rsync/lock.log
log file=/var/rsync/rsync.log

[py_code]
path=/home/py/
use chroot=no
max connections=10
read only=yes
write only=no
list=no
uid=root
gid=root
auth users=root
secrets file=/etc/rsync_server.pas
strict modes=yes
hosts allow=*
#hosts deny=1.1.1.1
ignore errors=yes
timeout=120 #秒

参数说明：
[py_code] ：模块名，自己定义，可以在下方添加其它模块。须与客户端执行命令中的模块名一致。
path：要备份的服务端文件夹路径。
hosts allow：允许的客户端连接IP。
secrets file：服务端密码文件，内容格式为，用户名:密码。
auth users：有权限的用户名，与密码文件中用户名一致。

• 创建密码文件

在/etc中创建文件rsync_server.pas，加入用户名与密码，内容格式为：用户名:密码。

nano /etc/rsync_server.pas

例如，本例中rsync_server.pas文件内容为root:123456

保存文件后，设置密码文件权限为600

chmod 600 /etc/rsync_server.pas

注意密码文件只有设置为600权限才可以使用，客户端的密码文件也必须为600。

• 启动与停止rsync服务

# 启动rsync
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

# 停止rsync
ps -ef | grep rsync
kill -9 进程号
rm -rf /var/rsync/rsync.pid

我们测试的时候，一定要保证rsync服务是启动的

客户端

1.查看是否安装rsync，系统一般默认已安装，安装方法：yum -y install rsync（同服务端）。
2.在/etc下创建密码文件rsync_client.pas，注意内容只有密码，且与服务端密码文件中的密码相同。
3.更改密码文件权限为600。

添加定时任务

在客户端中添加定时任务，每天几分钟执行命令从服务器端拉取数据，进行备份。
直接编辑/etc/crontab文件，添加一条定时任务即可，例如每1分钟以root身份执行下方的rsync命令，将远程服务器192.168.1.1中的py_code模块对应的文件夹（服务端/etc/rsyncd.conf文件中的[py_code]模块对应的文件夹路径 ）中的内容增量备份到当前服务器的/home/py_backup目录：

*/1 * * * * root rsync -aqzrtopg --delete rsync://root@192.168.1.1/py_code /home/py_backup --password-file=/etc/rsync_client.pas

命令中的root为服务端密码文件中配置的用户名；py_code为服务端/etc/rsyncd.conf文件中的[py_code]模块名，rsync会通过模块名找到对应的备份文件路径；
/home/py_backup是当前服务器文件夹路径，远程服务器需要备份的文件夹里的内容会增量备份到这里，所以需要提前建好该目录；
/etc/rsync_client.pas为当前服务器的密码文件。
当直接执行上方备份命令时，可以加入-v --progress参数， 即显示具体备份过程信息，定时任务中则不需要。

此外，使用crontab -e命令也可以直接配置定时任务，但与vi /etc/crontab不同，不同点如下：
1./etc/crontab中的为系统任务，只有root可以设定，而crontab -e设置的定时任务为用户任务，设定完成后会将任务自动写入/var/spool/cron/usename文件。
2./etc/crontab中的任务需要指定用户名，crontab -e不需要。

3. crontab -e 编辑完后需要重启服务，systemctl restart crond.service

   • 时间定义说明

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

每天零点执行备份命令
00 00 * * * shell命令

每天零点和12点执行备份命令
00 00,12 * * * shell命令

全量备份

下面要做的是在linux中，将linux文件定时全量备份，且每次备份的文件名不同，还要删除超过指定时间的历史备份文件。

将 /home/py 全量备份到/home/back下

cd /home/back   #进入到备份目录下
nano backup.sh  #创建一个备份脚本，这个脚本也可以放到其他目录中（自定义）

# backup.sh中写内容如下：

#！/bin/sh
cp -r /home/py /home/back  #将数据copy到备份目录，先copy是因为怕在压缩的过程当中源文件产生变化

tar -czvf /home/back/$(date +%Y%m%d).tar.gz /home/back/py  # 将copy过来的/home/back/py文件目录进行压缩，使用日期当做新压缩文件名字存入到/home/back中；

rm -rf /home/back/py  # 删除copy过来的文件，保留压缩过的文件就好

find ./ -mtime +30 -name "*.tar.gz" -exec rm -rf {} ;  # 查找并删除超过30天的.tar.gz文件，来避免全量备份的历史文件过多导致占用大量的磁盘空间。

chmod -R 777 backup.sh  # 修改脚本文件的权限，否则会自动执行失败，提示无权限

crontab -e  # 修改crontab

# 在crontab中写内容如下：
59 23 * * * /home/back/backup.sh  # 每天23点59分运行backup.sh脚本。可以根据需求修改时间，或定义多个执行计划。
# 保存退出该文件后重启crontab服务

systemctl restart crond.service  # 重启crontab服务