unison做文件双向同步

Posted 2020-12-19 surplus

2台tomcat服务器，开始领导的要求是做主备单项同步，用rsync，很轻松搞定触发式单项同步，参考

http://blog.csdn.net/sever2012/article/details/7612083

一、主服务器（server端，我这里是nginx）

其中主服务器需要安装rsync与inotify，主服务器作为server，向备份服务器client传输文件

1、安装rsync

1. [root@nginx ~]# cd /usr/src/
2. [root@nginx src]# ll
3. total 16
4. drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
5. drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
6. [root@nginx src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
7. [root@nginx src]# tar zxvf rsync-3.0.9.tar.gz
8. [root@nginx src]# cd rsync-3.0.9
9. [root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
10. [root@nginx rsync-3.0.9]# make
11. [root@nginx rsync-3.0.9]# make install

2、建立密码认证文件

1. [root@nginx rsync-3.0.9]# cd /usr/local/rsync/
3. [root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd

其中rsync-pwd可以自己设置密码，rsync.passwd名字也可以自己设置

1. [root@nginx rsync]# chmod 600 rsync.passwd

无论是为了安全，还是为了避免出现以下错误，密码文件都需要给600权限

1. password file must not be other-accessible
2. continuing without password file

3、安装inotify

1. [root@nginx rsync]# cd /usr/src/
2. [root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
3. [root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz
4. [root@nginx src]# cd inotify-tools-3.14
5. [root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
6. [root@nginx inotify-tools-3.14]# make
7. [root@nginx inotify-tools-3.14]# make install

4、创建rsync复制脚本

此项功能主要是将server端的目录/tmp里的内容，如果修改了（无论是添加、修改、删除文件）能够通过inotify监控到，并通过rsync实时的同步给client的/tmp里，下面是通过shell脚本实现的。

1. #!/bin/bash
2. host=192.168.10.221
3. src=/tmp/
4. des=web
5. user=root
6. /usr/local/inotify/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib $src
7. | while read files
8. do
9. /usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des
10. echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
11. done

注意：经过1楼的提示，我发现如果把rsync.log的放到tmp（备份的目录）或发送一直复制的问题，所以建议各位吧rsync的日志放到其他的目录下（非备份目录）。

其中host是client的ip，src是server端要实时监控的目录，des是认证的模块名，需要与client一致，user是建立密码文件里的认证用户。

把这个脚本命名为rsync.sh，放到监控的目录里，比如我的就放到/tmp下面，并给予764权限

1. [root@nginx tmp]# chmod 764 rsync.sh

然后运行这个脚本

1. [root@nginx tmp]# sh /tmp/rsync.sh &

请记住，只有在备份服务器client端的rsync安装并启动rsync之后，在启动rsync.sh脚本，否则有时候会满屏出现：

1. rsync: failed to connect to 192.168.10.221: Connection refused (111)
2. rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]

我们还可以把rsync.sh脚本加入到开机启动项里

1. [root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local

二、备份服务器（client，我这里为nginx-backup）

1、安装rsync（备份服务器只安装rsync）

1. [root@nginx-backup ~]# cd /usr/src/
2. [root@nginx-backup src]# ll
3. total 16
4. drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
5. drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
6. [root@nginx-backup src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
7. [root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz
8. [root@nginx-backup src]# cd rsync-3.0.9
9. [root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
10. [root@nginx-backup rsync-3.0.9]# make
11. [root@nginx-backup rsync-3.0.9]# make install

2、建立用户与密码认证文件

1. [root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd

请记住，在server端建立的密码文件，只有密码，没有用户名；而在备份服务端client里建立的密码文件，用户名与密码都有。

1. [root@nginx-backup rsync]# chmod 600 rsync.passwd

需要给密码文件600权限

3、建立rsync配置文件

1. uid = root
2. gid = root
3. use chroot = no
4. max connections = 10
5. strict modes = yes
6. pid file = /var/run/rsyncd.pid
7. lock file = /var/run/rsync.lock
8. log file = /var/log/rsyncd.log
9. [web]
10. path = /tmp/
11. comment = web file
12. ignore errors
13. read only = no
14. write only = no
15. hosts allow = 192.168.10.220
16. hosts deny = *
17. list = false
18. uid = root
19. gid = root
20. auth users = root
21. secrets file = /usr/local/rsync/rsync.passwd

其中web是server服务端里的认证模块名称，需要与主服务器里的一致，以上的配置我的自己服务器里的配置，以供参考。

把配置文件命名为rsync.conf，放到/usr/local/rsync/目录里

启动rsync

1. [root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf

如果出现以下问题：

1. /usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory，

可以采用下面方法解决

1. [root@nginx-backup rsync]# whereis libiconv.so.2
2. libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so

找到所需模块所在的目录，然后把此目录添加到/etc/ld.so.conf里，并更新库文件

1. [root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf
2. [root@nginx-backup rsync]# ldconfig

我们可以把rsync脚本加入到开机启动项里

1. [root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local

 

后来领导要求2台tomcat其中的一个文件夹双向同步，这个靠rsync就麻烦了，木有办法，装了个unison

参考的

http://baiying.blog.51cto.com/1068039/819451

系统：centos 5.4 
ocaml 3.09.3 
unison 2.40.63 
A主机10.10.11.85  B主机10.10.11.92  
只需要在其中一台主机安装unison server端即可，这里以A主机为例 
1.ocaml下载 
wget http://caml.inria.fr/pub/distrib/ocaml-3.09/ocaml-3.09.3.tar.gz 
2.unison下载最新稳定版 
wget http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.40.63.tar.gz 
3.Ocaml安装脚本如下： 
tar -zxf ocaml-3.09.3.tar.gz 
cd ocaml-3.09.3 
./configure 
make world opt 
make install 
cd .. 
4.unison安装脚本如下： 
tar -zxf unison-2.40.63.tar.gz 
cd unison-2.40.63 
make UISTYLE=text 
make install 
cp unison /usr/local/bin 
scp unison  10.10.11.92:/usr/local/bin/ 
5.配置双机ssh信任 
A主机： 
ssh-keygen -t rsa 
cd .ssh/ 
scp id_rsa.pub 10.10.11.92:/root/ 
B主机--10.10.11.92： 
cat id_rsa.pub >>~/.ssh/authorized_keys

B主机： 
ssh-keygen -t rsa 
cd .ssh/ 
scp id_rsa.pub 10.10.11.85:/root/ 
A主机--10.10.11.85： 
cat id_rsa.pub >>~/.ssh/authorized_keys

6.通过配置文件来使用unison 
使用root安装unison后，配置文件默认生成在/root/.unison/default.prf,可以手动写一个配置文件，运行unison时只需指定此配置文件即可。 
下面以同步两个不同主机的/mnt目录为例的配置信息: 
只在A主机中配置： 
# more /root/.unison/unison_test.prf 
root = /mnt 
root = ssh://root@10.10.11.92//mnt 
#force =/mnt 
path = mnt 
ignore = Path tmp 
#prefer = ssh://root@10.10.11.92//mnt 
batch = true 
maxthreads = 180 
#repeat = 1 
#retry = 3 
owner = true 
group = true 
perms = -1 
fastcheck=false 
rsync =false 
#debug=verbose 
sshargs = -C 
xferbycopying = true 
confirmbigdel = false 
log = true 
logfile = /root/.unison/unison_test.log

7.在A主机上做计划任务，进行每两分钟自动同步 
*/2 * * * * /usr/local/bin unison unison_test.prf  >/dev/null 2>&1 &

注各参数详解: 
——root表示需要同步的目录 
——force表示使用unison单项同步功能，注释掉以便启用双向同步. 
——ignore = Path表示同步/mnt目录时不同步tmp。 
——batch = true,表示全自动模式，接受缺省动作 
——fastcheck  true，表示同步时使用文件的创建时间来比较两地文件，如果这个选项为false，unison则将比较两地文件的内容.建议设置为true 
——log = true 
——logfile则指定了同时将输出写入log文件。

但是同步的时候文件同步不过去，最后把crontab -e里面的命令修改了下

*/1 * * * * /usr/local/bin unison -batch  /home/ssh://root@172.16.2.110//home/