UNISON+inotify数据的双向实时同步

Posted a121

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了UNISON+inotify数据的双向实时同步相关的知识,希望对你有一定的参考价值。

UNISON安装部署手册

操作系统:SUSE12

安装包:inotify-tools-3.13.tar.gz  ocaml-4.02.0.tar.gz   unison-2.48.4.tar.gz

主机:FH-UMP-PORTAL1  192.168.1.181 

  FH-UMP-PORTAL2  192.168.1.182

登录用户/密码:root/123456

配置文件:/root/.unison/default.prf

 

Unison双向同步基本原理是:假如有A B两个文件夹,A文件夹把自己的改动同步到B,B文件夹也把自己的改动同步到A,最后A B两文件夹的内容相同,是AB文件夹的合集。
Unison双向同步的一个缺点是,对于一个文件在两个同步文件夹中都被修改时,unison是不会去同步的,因为unison无法判断以那个为准。

一、安装前的准备

1. 查看空间大小

# df -h

2. 创建目录

#mkdir /opt/unison

3. 上传安装包到指定目录

 

二、解压及安装

4. 解压、编译、安装

(1) 对于ocaml-4.02.0.tar.gz(Linux下通过源码包编译安装Unison时,需要用到Objective Caml compiler)

解压:#tar zxfv ocaml-4.02.0.tar.gz

进入解压目录:#cd ocaml-4.02.0

配置:#./configure

编译:#make world opt

安装:#make install

(2) 安装unison-2.48.4.tar.gz

解压:#tar zxvf unison-2.48.4.tar.gz

         技术分享图片

 

进入解压目录:#cd src/

编译:#make UISTYLE=text

安装:#make install

5. 有安装信息说明安装成功

       技术分享图片

 

 

三、配置双机ssh 信任 (免密登录)

6. 在FH-UMP-PORTAL1上创建key并配置PORTAL2的信任

(1) 获取密钥对

# ssh-keygen -t rsa

 技术分享图片

 

(2)将公钥添加到authorized_keys文件中,并修改权限

 技术分享图片

 

(3)使用rsync 远程同步将密钥传到PORTAL2

 技术分享图片

 

 

7. 同样的,在FH-UMP-PORTAL2上创建key并配置PORTAL1的信任

#ssh-keygen -t rsa

#cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

#chmod 700 ~/.ssh/

#chmod 600 ~/.ssh/authorized_keys

#rsync -avz /root/.ssh/authorized_keys [email protected]:/root/.ssh/authorized_keys

 

注:配置结束后,在两台机器上分别ssh对方IP,能无密码登录则表示配置成功。

如:

    技术分享图片

 

 

四、Unison的配置与使用

8. Unison的使用方法

     技术分享图片

 

(1) 本地使用
使用方法:
#unison  111 222  #同步本地的111和222文件夹

(2) unison远程使用
使用方法:
# unison <本地目录> ssh://remotehostname(IP)/<远程目录的绝对路径>
例如:
# unison /home/AAA ssh://[email protected](ip)//DB/path/BBB
表示将本机的目录/home/AAA和远端主机的/DB/path/BBB进行同步。一般的,需要两台机能ssh连接。
注意: 在主机和目录间又多加了一个 "/"

 

9. Unison的相关配置

修改unison配置文档(以共享/opt目录为例):

#cd /root/.unison

#vim default.prf

 # Unison preferences file

root = /opt

root = ssh://192.168.1.182//opt

#force =

#ignore =

batch = true

#repeat = 1

#retry = 3

#owner = true

#group = true

#perms = -1

#fastcheck = false

#rsync = false

#sshargs = -C

#xferbycopying = true

log = true

logfile = /root/.unison/unison.log

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

PORTAL2:

#vim /root/.unison/default.prf

# Unison preferences file

root = /opt

root = ssh://192.168.1.181//opt

#force =

#ignore =

batch = true

#repeat = 1

#retry = 3

#owner = true

#group = true

#perms = -1

#fastcheck = false

#rsync = false

#sshargs = -C

#xferbycopying = true

log = true

logfile = /root/.unison/unison.log

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相关注解如下:
1.两个root表示需要同步的文件夹。

2.force表示以本地的文件夹为标准,将该目录同步到远端,开启后则变成单项同步

3.ignore = Path表示忽略某个目录,即同步时不同步它。

4. batch=true 表示全自动模式,接受并执行默认动作

5.log = true表示在终端输出运行信息。

6.logfile则指定了同时将输出写入log文件。

7.owner = true //保持同步过来的文件属主 

8.group = true //保持同步过来的文件组信息 

9.perms = -1 //保持同步过来的文件读写权限 

10.repeat = 1 //间隔1秒后,开始新的一次同步检查 

11.retry = 3 //失败重试 

12.sshargs = -C //使用ssh的压缩传输方式 

fastcheck true 表示同步时仅通过文件的创建时间来比较,如果选项为false,Unison则将比较两地文件的内容。 

auto //接受缺省的动作,然后等待用户确认是否执行。 

ignore xxx //增加 xxx 到忽略列表中  :经测试此参数不能用。

ignorecase [true|false|default] //是否忽略文件名大小写 

follow xxx //是否支持对符号连接指向内容的同步 

xferbycopying = true

immutable xxx //不变目录,扫描时可以忽略 

silent //安静模式 

times=true //同步修改时间 

path xxx 参数 //只同步 -path 参数指定的子目录以及文件,而非整个目录,-path 可以多次出现。

confirmbigdel=false//默认值为true,表示当需要同步的两个目录一个为空时,unison将停止,这里设置为false,即便为空unison也不会停止运转

 

10. 测试(手动推)

(对于unison),在PORTAl1中有变化,则执行unison后PORTAL2就会发生对应的变化,例如:PORTAL1:

#mkdir /opt/dir1

#ll

   技术分享图片

 

 

 

 

 

 

而此时的PORTAL2是没有dir1文件的

执行命令同步:

PORTAL1:

#unison

 

 

PORTAL2:

#ll

 技术分享图片

 

    

 

 

 

 

 

则会出现dir1文件,说明同步成功。

 

注:unison只会同步变动的一方,所以在生产环境中不能轻易改动PORTAL2中的内容。

PORTAl2只在PORTAL1出故障的时候启用,所以必须保证同步是正确的,且及时。

 

五、定时或定期执行同步

如果想要定期执行,则通过crontab计划任务来实现,例如通过以下方式设置每5分钟执行一次。

#crontab -e

* * * * * /usr/local/bin/unison
使计划任务生效 需要重启 crond服务
[[email protected] ~]# service crond restart


六、安装inotify实时监控

11. 查看系统是否支持inotify

    技术分享图片

 

说明支持。

12. 安装inotify

#cd /opt

#tar zxvf inotify-tools-3.13.tar.gz

#cd inotify-tools-3.13/

#./configure

#make && make install

13. 编写inotify实时监控脚本

#cd /tmp

#cd ..

#vim inotify.sh

#!/bin/bash

UNISON=`ps -ef |grep -v grep|grep -c inotifywait`

if [ ${UNISON} -lt 1 ]

then

        user2="unison"

        ip2="FH-UMP-PORTAL2"

        src2="/opt"

        dst2="/opt"

        /usr/local/bin/inotifywait -mrq -e create,delete,modify,move $src1 | while read line

        do

                #/root/bin/unison -batch $src2 ssh://[email protected]$ip2//$dst2

                /root/bin/unison

                echo -n "$line " >> /opt/inotify/inotify$(date +%u).log

                echo ` date +%F %T " " -f1-4` >> /opt/inotify/inotify$(date +%u).log

        done

fi

 

 

#chmod +x inotify.sh
















以上是关于UNISON+inotify数据的双向实时同步的主要内容,如果未能解决你的问题,请参考以下文章

Unison+inotify实现两个主机目录之间的数据双向同步

Centos6安装配置Unison+Inotify双向同步

实时同步rsync+inotify

双向同步使用unison

unison做文件双向同步

Rsync+inotify实现文件实时同步