集群sersync同步方案精简部署

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了集群sersync同步方案精简部署相关的知识,希望对你有一定的参考价值。

sersync原理与部署

1、原理步骤:
    1.  在同步服务器(Master)上开启sersync服务,sersync负载监控配置路径中的文件系统事件变化;
    2.  调用rsync命令把更新的文件同步到目标服务器(S1 和 S2);
    3.  需要在主服务器配置sersync,在同步目标服务器配置rsync server(注意:是rsync服务)

2、同步原理:
    1.  用户实时的往sersync服务器(M)上写入更新文件数据;

    2.  此时需要在同步主服务器(M)上配置sersync服务;

    3.  在S1 和S2上开启rsync守护进程服务,以同步拉取来自sersync服务器(M)上的数据;

    通过rsync的守护进程服务后可以发现,实际上sersync就是监控本地的数据写入或更新事件;然后,

再调用rsync客户端的命令,将写入或更新事件对应的文件通过rsync推送到目标服务器S1 和S2;

说明:由于推送目的地rsync模块与主机IP与大家不一致,需按需求修改


3、配置服务端
mkdir -p /applition/tools

cd /applition/tools

wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
提示:有时会遇到下载失败的错误,所有最好是本地留存


tar fxz sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/

cd /usr/local/

mv GNU-Linux-x86 sersync

tree sersync/

cp sersync/confxml.xml sersync/confxml.xml.$(date +%F)

更改优化sersync配置文件:

a)修改24-28行

修改后的内容为:

 24         <localpath watch="/data/nfs-bbs">

 25             <remote ip="172.16.1.41" name="nfsbackup"/>

 26         </localpath>

提示:  此步watch="/data/nfs-bbs"就是定义服务端待同步的目录,和目标服务器的模块

name="blog"


b)修改35-41行,认证部分【rsync密码认证】

修改后的内容如下:

 35         <rsync>
 36             <commonParams params="-artuz"/>
 37             <auth start="ture" users="rsync_backup" passwordfile="/etc/rsync.pass    word"/>
 38             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 39             <timeout start="ture" time="100"/><!-- timeout=100 -->
 40             <ssh start="false"/>
 41         </rsync>

c)修改42行
修改后如下:

 42         <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="    60"/><!--default every 60mins execute once-->     #<== 当同步失败后,日志记录到/usr/local/sersync/logs/rsync_fail_log.sh文件中,并且每60分钟对失败的log进行重新同步

修改后的完整配置文件为:
[[email protected] sersync]# cat confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="false"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
    <localpath watch="/data">
        <remote ip="172.16.1.41" name="nfsbackup"/>
        <!--<remote ip="192.168.8.39" name="tongbu"/>-->
        <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    </localpath>
    <rsync>
        <commonParams params="-artuz"/>
        <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        <timeout start="true" time="100"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

4、开启sersync守护进程同步数据
/usr/local/sersync/sersync2  -d -r -o /usr/local/sersync/confxml.xml

echo"PATH=$PATH:/usr/local/sersync/">>/etc/profile

source /etc/profile

本文出自 “lming” 博客,请务必保留此出处http://lmin32.blog.51cto.com/12206256/1909436

以上是关于集群sersync同步方案精简部署的主要内容,如果未能解决你的问题,请参考以下文章

[sersync+rsync] centos6.5 远程文件同步部署记录

rsync+sersync部署流程

sersync 配合rsync实时同步备份

Linux三阶段之四:实时同步(inotify+rsync,sersync+rsync)

sersync实现实时同步

sersync实现实时同步