实现数据实时同步

Posted 2020-11-26

一、为什么要用rsync+sersync架构？

1、sersync是基于inotify开发的，类似于inotify-tools的工具

2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录

二、rsync+inotify-tools与rsync+sersync架构的区别？

1、rsync+inotify-tools
a、inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
b、rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低

2、rsync+sersync
a、sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
b、rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

同步过程：

1. 在同步服务器上开启sersync服务，sersync负责监控配置路径中的文件系统事件变化； 实际上sersync就是监控本地的数据写入或更新事件，通过rsync推送到目标服务器。
2. 调用rsync命令把更新的文件同步到目标服务器；

3. 需要在主服务器配置sersync，在同步目标服务器配置rsync server（注意：是rsync服务）

   同步过程和原理：

4. 用户实时的往sersync服务器上写入更新文件数据；
5. 此时需要在同步主服务器上配置sersync服务；
6. 在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据；
   通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件；然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器

三、操作
一台装sersync一台装rsync服务 对10.0.0.5网站根目录的/var/www/html目录备份到10.0.0.6的/www （所以10.0.0.6上只安装rsync就可以了。
Sersync服务器（源机器 ；数据源【部署的项目，代码等】）：10.0.0.5
Rsync服务器（备份机（备份端磁盘大专门用来存储数据 ）；目标机器）：10.0.0.6

wget --no-check-certificate https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz
wget --no-check-certificate https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
mv GNU-Linux-x86 /usr/local/sersync
cd /usr/local/sersync/
cp confxml.xml confxml.xml.$(date +%F)
修改24、25行
<localpath watch="/mnt/">
<remote ip="10.0.0.6" name="back"/>
修改31行
<auth start="true" users="rsyncuser" passwordfile="/etc/rsync.passwd"/>
vim confxml.xml
配置sersync开启sersync守护进程同步数据
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/confxml.xml

添加脚本监控sersync是否正常运行
vi /usr/local/sersync/check_sersync.sh #编辑，添加以下代码
#!/bin/sh
sersync="/usr/local/sersync/sersync2"
confxml="/usr/local/sersync/confxml.xml"
status=$(ps aux |grep ‘sersync2‘|grep -v ‘grep‘|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi
添加执行权限
chmod +x /usr/local/sersync/check_sersync.sh #添加脚本执行权限