linux自动代码增量备份 结合 全量备份

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux自动代码增量备份 结合 全量备份相关的知识,希望对你有一定的参考价值。

需求说明

系统环境:linux(centos7)
备份内容:增量备份 结合 全量备份

公司中的生产服务器数据非常重要,所以我们需要通过备份服务器将生产服务器的数据进行备份。

rsync的增量备份,不单单会同步新增的内容,就连删除的内容也会同步。假如管理代码人员误操作将代码误删除,那么备份服务器检测到备份原的数据产生变化后,也会与其同步,此时生产服务器与备份服务器的代码都会丢失。

增量备份要求的频率较高,但在生产与备份服务器之间的网络资源消耗较少,所以我们可以使用rsync来做增量备份,然后结合在备份服务器本地内做全量备份。
这样不但减少了生产与备份服务器使用了全量备份的网络资源开销,还避免了数据大量丢失的情况。

增量备份

使用linux的rsync功能来增量备份开发代码

服务器端

  • 安装rsync

yum -y install rsync
  • 添加配置文件

如果没有/etc/rsyncd.conf 文件,需要手动创建,如果有直接修改即可。

服务端配置文件/etc/rsyncd.conf 内容如下:

# 在文件最下方添加内容

pid file=/var/rsync/rsync.pid
port=873
lock file=/var/rsync/lock.log
log file=/var/rsync/rsync.log

[py_code]
path=/home/py/
use chroot=no
max connections=10
read only=yes
write only=no
list=no
uid=root
gid=root
auth users=root
secrets file=/etc/rsync_server.pas
strict modes=yes
hosts allow=*
#hosts deny=1.1.1.1
ignore errors=yes
timeout=120 #秒

参数说明:
[py_code] :模块名,自己定义,可以在下方添加其它模块。须与客户端执行命令中的模块名一致。
path:要备份的服务端文件夹路径。
hosts allow:允许的客户端连接IP。
secrets file:服务端密码文件,内容格式为,用户名:密码。
auth users:有权限的用户名,与密码文件中用户名一致。

  • 创建密码文件

在/etc中创建文件rsync_server.pas,加入用户名与密码,内容格式为:用户名:密码。

nano /etc/rsync_server.pas

例如,本例中rsync_server.pas文件内容为root:123456

保存文件后,设置密码文件权限为600

chmod 600 /etc/rsync_server.pas

注意密码文件只有设置为600权限才可以使用,客户端的密码文件也必须为600。

  • 启动与停止rsync服务
# 启动rsync
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
# 停止rsync
ps -ef | grep rsync
kill -9 进程号
rm -rf /var/rsync/rsync.pid

我们测试的时候,一定要保证rsync服务是启动的

客户端

1.查看是否安装rsync,系统一般默认已安装,安装方法:yum -y install rsync(同服务端)。
2.在/etc下创建密码文件rsync_client.pas,注意内容只有密码,且与服务端密码文件中的密码相同。
3.更改密码文件权限为600。

添加定时任务

在客户端中添加定时任务,每天几分钟执行命令从服务器端拉取数据,进行备份。
直接编辑/etc/crontab文件,添加一条定时任务即可,例如每1分钟以root身份执行下方的rsync命令,将远程服务器192.168.1.1中的py_code模块对应的文件夹(服务端/etc/rsyncd.conf文件中的[py_code]模块对应的文件夹路径 )中的内容增量备份到当前服务器的/home/py_backup目录:


*/1 * * * * root rsync -aqzrtopg --delete rsync://root@192.168.1.1/py_code /home/py_backup --password-file=/etc/rsync_client.pas

命令中的root为服务端密码文件中配置的用户名;py_code为服务端/etc/rsyncd.conf文件中的[py_code]模块名,rsync会通过模块名找到对应的备份文件路径;
/home/py_backup是当前服务器文件夹路径,远程服务器需要备份的文件夹里的内容会增量备份到这里,所以需要提前建好该目录;
/etc/rsync_client.pas为当前服务器的密码文件。
当直接执行上方备份命令时,可以加入-v --progress参数, 即显示具体备份过程信息,定时任务中则不需要。

此外,使用crontab -e命令也可以直接配置定时任务,但与vi /etc/crontab不同,不同点如下:
1./etc/crontab中的为系统任务,只有root可以设定,而crontab -e设置的定时任务为用户任务,设定完成后会将任务自动写入/var/spool/cron/usename文件。
2./etc/crontab中的任务需要指定用户名,crontab -e不需要。

  1. crontab -e 编辑完后需要重启服务,systemctl restart crond.service

    • 时间定义说明
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

每天零点执行备份命令
00 00 * * * shell命令

每天零点和12点执行备份命令
00 00,12 * * * shell命令

全量备份

下面要做的是在linux中,将linux文件定时全量备份,且每次备份的文件名不同,还要删除超过指定时间的历史备份文件。

将 /home/py 全量备份到/home/back下

cd /home/back   #进入到备份目录下
nano backup.sh  #创建一个备份脚本,这个脚本也可以放到其他目录中(自定义)

# backup.sh中写内容如下:

#!/bin/sh
cp -r /home/py /home/back  #将数据copy到备份目录,先copy是因为怕在压缩的过程当中源文件产生变化

tar -czvf /home/back/$(date +%Y%m%d).tar.gz /home/back/py  # 将copy过来的/home/back/py文件目录进行压缩,使用日期当做新压缩文件名字存入到/home/back中;

rm -rf /home/back/py  # 删除copy过来的文件,保留压缩过的文件就好

find ./ -mtime +30 -name "*.tar.gz" -exec rm -rf {} ;  # 查找并删除超过30天的.tar.gz文件,来避免全量备份的历史文件过多导致占用大量的磁盘空间。

chmod -R 777 backup.sh  # 修改脚本文件的权限,否则会自动执行失败,提示无权限

crontab -e  # 修改crontab

# 在crontab中写内容如下:
59 23 * * * /home/back/backup.sh  # 每天23点59分运行backup.sh脚本。可以根据需求修改时间,或定义多个执行计划。
# 保存退出该文件后重启crontab服务

systemctl restart crond.service  # 重启crontab服务

以上是关于linux自动代码增量备份 结合 全量备份的主要内容,如果未能解决你的问题,请参考以下文章

oracle全量增量备份

mysql自动化(全量+增量)备份脚本

负责数据库的备份,实现周一 之 周六增量备份,周日全量备份

Python实现目录文件的全量和增量备份

Mysql使用innobackupex在线备份方案(全量+增量)操作记录

mysql全量备份与增量备份