如何通过rsync+sersync 实现同步备份
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何通过rsync+sersync 实现同步备份相关的知识，希望对你有一定的参考价值。
参考技术A 如何通过rsync+sersync 实现同步备份3、rsync+sersync更快更节约资源实现web数据同步
4、unison+inotify实现web数据双向同步
一：为什么要实现同步备份
服务器上有些重要文件或数据时，可以把他们多备份一份到其他服务器上，这样就不怕数据或文件丢失了。
二：环境的搭建
服务器A：192.168.1.10 源服务器
服务器B: 192.168.1.20 目的服务器
我们要实现的就是把A服务器上的文件同步到B服务器上，从而实现备份。我们主要是在B服务器上安装配置rsync，在A服务器上安装配置sersync,通过sersync把文件推送到B服务器上
三：开始搭建
从B服务器开始：
1.关闭selinux，在/etc/sysconfig/selinux 这个文件，设置SELINUX=disable
2.防火墙开通873端口 -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT
3.开始安装rsync
yum install rsync -y
4.配置rsync,rsync的配置文件是/etc/rsyncd.conf,配置如下：
图下方需要注意的地方：secrets file这个是配置同步的密码文件的。[rsynctest]这个是配置同步模块的名称，path是配置同步的目录，hosts allow是允许同步的主机，hosts deny：拒绝同步的主机
5.创建同步的用户与密码的文件,即上图中的secrets file这个配置选项中的文件。/etc/rsync.passwd，同进要设置这个文件的权限为600
echo "user:password" >> /etc/rsync.passwd
chmod 600 /etc/rsync.passwd
6.创建同步的目录：即上图中path配置选项中的目录。
mkdir /home/rsynctest
7.启动rsync
rsync --daemon --config=/etc/rsyncd.conf
接着重启一下xinetd
/etc/init.d/xinetd restart
8.配置开机启动 echo "rsync --daemon --config=/etc/rsyncd.conf" >> /etc/rc.d/rc.local
到这样B服务器基本就配置完成了。
接着配置A服务器：
1.先到sersync官网下载sersync:http://sersync.sourceforge.net/
wget http://sersync.googlecode.com/files/sersync2.1_64bit_binary.tar.gz
2.安装sersync
# mkdir /usr/local/sersync
# mkdir /usr/local/sersync/conf
# mkdir /usr/local/sersync/bin
# mkdir /usr/local/sersync/log
# tar zxvf sersync2.5_32bit_binary_stable_final.tar.gz
# cd GNU-Linux-x86/
# cp confxml.xml /usr/local/sersync/conf
# cp sersync2 /usr/local/sersync/bin
3.创建密码文件,同B服务器一样，不过这个文件只要保存一个密码就行了，不用用户名,权限也是600
echo "password" >> /etc/rsync.passwd
chmod 600 /etc/rsync.passwd
4.配置sersync,配置文件就是上第二步复制的confxml.xml这个文中，路径在/usr/local/sersync/conf中
---------------------------------------------------------------------------------------------------------------------------
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
# 设置本地IP和端口
<host hostip="localhost" port="8008"></host>
# 开启DUBUG模式
<debug start="false"/>
# 开启xfs文件系统
<fileSystem xfs="false"/>
# 同步时忽略推送的文件(正则表达式),默认关闭
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
# 设置要监控的事件
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
<sersync>
# 本地同步的目录路径
<localpath watch="/data">
# 远程IP和rsync模块名
<remote ip="192.168.1.20" name="data"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
# rsync指令参数
<commonParams params="-auvzP"/>
# rsync同步认证
<auth start="true" users="user" passwordfile="/etc/rsync.passwd"/>
# 设置rsync远程服务端口，远程非默认端口则需打开自定义
<userDefinedPort start="false" port="874"/><!-- port=874 -->
# 设置超时时间
<timeout start="true" time="100"/><!-- timeout=100 -->
# 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书
<ssh start="false"/>
</rsync>
# sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。
<failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
# 设置rsync+crontab定时传输，默认关闭
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
# 设置sersync传输后调用name指定的插件脚本，默认关闭
<plugin start="false" name="command"/>
</sersync>
# 插件脚本范例
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
# 插件脚本范例
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
------------------------------------------------------------------------------------------------------------------
5.创建同步目录：mkdir /home/rsynctest
6.设置环境变量：
# echo "export PATH=$PATH:/usr/local/sersync/bin/" >> /etc/profile
# source /etc/profile
7.启动sersync
sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml
注：重启操作如下：
# killall sersync2 && sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml
8.设置开机启动
# echo "sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml" >> /etc/rc.local
更多详情可以看http://www.cnblogs.com/myblog1314/p/4569797.html这个里面的
Rsync+Sersync实时同步数据目录
第1章 Rsync简介
1.1 Rsync基本概述
rsync是一款开源的备份工具，可以在不同主机之间进行同步，可实现全量备份与增量备份
全量：将全部数据，进行传输覆盖
增量：只传输差异部分的数据
1.2 实现增量复制的原理
Rsync通过其独特的“quick check”算法，实现增量传输数据
在同步备份数据时，默认情况下，Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
1.3 Rsync软件功能介绍
类似于 cp 命令 -- 实现本地备份传输数据 类似于scp 命令 -- 远程备份传输数据 类似于 rm 命令 -- 实现无差异同步备份 类似于 ls 命令 -- 本地文件信息查看 rsync 命令属于1 v 4 的命令
1.4 远程拷贝
#使用rsync拷贝41主机上/root目录下的oldboyedu.com文件，拷贝至本地当前目录 rsync -avz [email protected]:/root/oldboyedu.com ./ #拷贝文件 rsync -avz [email protected]:/root/ /backup/ #拉取远程目录下的所有文件 rsync -avz [email protected]:/root /backup/ #拉取远程目录以及目录下的所有文件
注意：远程拷贝目录需要注意 /
# 将本地/backup/2018-07-23这个目录以及目录下的内容，推送至于41服务器的/tmp目录下 rsync -avz /backup/2018-07-23 [email protected]:/tmp/
问题：
1.使用的ssh系统用户，不安全
2.必须通过ssh协议才可以传输
1.5 守护进程拷贝
守护进程拷贝很安全，是使用虚拟用户
//将本地数据推送至backup服务器
rsync -avz /mnt/ [email protected]::backup/
//将backup服务器数据拉至本地服务器
rsync -avz [email protected]::backup/ /mnt/
第2章 Rsync服务器端安装
2.1 系统环境
[[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [[email protected] ~]# uname -r 3.10.0-229.el7.x86_64 [[email protected] ~]# systemctl status firewalld firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled) Active: inactive (dead) [[email protected] ~]# getenforce Disabled
2.2 安装rsync
2.2.1 检查和安装
$ rpm -qa|grep rsync #检查是否安装，如安装请忽略下面步骤，没有则安装 rsync-3.1.2-4.el7.x86_64 $ yum -y install rsync
2.2.2 添加配置文件
$ vim /etc/rsyncd.conf uid = rsync #不一定是rsync，可以是www等，设置和你站点目录一样的属主最合适 gid = rsync port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false hosts allow = 172.16.1.0/24 #修改一下允许访问的网段，根据实际情况填写 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password log file = /var/log/rsyncd.log ##################################### [backup] #模块名称 comment = welcome to oldboyedu backup! path = /backup #备份目录
2.2.3 创建虚拟用户
$ useradd -M -s /sbin/nologin rsync
2.2.4 建立虚拟账户对应的用户名与密码(用于客户端连接的账户和密码)
$ vim /etc/rsync.password rsync_backup:123456 $ chmod 600 /etc/rsync.password
2.2.5 创建仓库目录，授权属主和属组
$ mkdir /backup $ chown -R rsync.rsync /backup/
2.2.6 启动
$ systemctl start rsyncd #启动 $ systemctl enable rsyncd #开机自启动 #检查端口是否已经启动 $ netstat -lntup|grep 873 tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1861/rsync tcp6 0 0 :::873 :::* LISTEN 1861/rsync
第3章 客户端配置
3.1 客户端配置，实现无密码推送或拉去数据
$ echo "123456" > /etc/rsync.password $ chmod 600 /etc/rsync.password
客户端测试推送文件
$ rsync -avz /etc/hosts [email protected]::backup Password: #密码是文件里面的密码，不是linux服务器的密码，我这里是123456 sending incremental file list sent 42 bytes received 20 bytes 17.71 bytes/sec total size is 158 speedup is 2.55 #这个就代表已经传过去了，可以去服务器目录查看是否有这个文件了
第4章 安装Sersync实时监控并同步
4.1 安装
4.1.1 sersync安装在你需要监控的服务器上，如这个目录经常变动（客户端）
$ mkdir /server/tools –p $ cd /server/tools $ wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz #下载sersync $ tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz $ mv GNU-Linux-x86/ /usr/local/sersync $ cd /usr/local/sersync/ $ cp confxml.xml confxml.bak #x修改前备份配置文件
4.1.2 配置
$ vim confxml.xml 5 <fileSystem xfs="true"/> <!-- 文件系统 --> 6 <filter start="false"> <!-- 排除不想同步的文件--> 7 <exclude expression="(.*).svn"></exclude> 8 <exclude expression="(.*).gz"></exclude> 9 <exclude expression="^info/*"></exclude> 10 <exclude expression="^static/*"></exclude> 11 </filter> 12 <inotify> <!-- 监控的事件类型 --> 13 <delete start="true"/> 14 <createFolder start="true"/> 15 <createFile start="true"/> 16 <closeWrite start="true"/> 17 <moveFrom start="true"/> 18 <moveTo start="true"/> 19 <attrib start="false"/> 20 <modify start="false"/> 21 </inotify> 23 <sersync> 24 <localpath watch="/var/www"> <!-- 监控的目录 --> 25 <remote ip="10.0.0.10" name="backup"/> <!-- backup的IP以及模块 --> 26 <!--<remote ip="192.168.8.39" name="tongbu"/>--> 27 <!--<remote ip="192.168.8.40" name="tongbu"/>--> 28 </localpath> 29 <rsync> <!-- rsync的选项 --> 30 <commonParams params="-az"/> 31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> 32 <userDefinedPort start="false" port="874"/><!-- port=874 --> 33 <timeout start="true" time="100"/><!-- timeout=100 --> 34 <ssh start="false"/> 35 </rsync> <!-- 每60分钟执行一次同步--> 36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def ault every 60mins execute once-->
4.1.3 启动
$ ./sersync2 –h set the system param execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param _______________________________________________________ 参数-d:启用守护进程模式 参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍 c参数-n: 指定开启守护线程的数量，默认为10个 参数-o:指定配置文件，默认使用confxml.xml文件 参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块 参数-m:单独启用其他模块，使用 -m socket 开启socket模块 参数-m:单独启用其他模块，使用 -m http 开启http模块 不加-m参数，则默认执行同步程序 $ /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml #启动命令 可以查看监控目录的文件是否和另一台服务器目录的文件一样了。
以上是关于如何通过rsync+sersync 实现同步备份的主要内容，如果未能解决你的问题，请参考以下文章
linux rsync远程同步+sersync+rsync实现实时同步