rsync+inotify实现数据同步

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync+inotify实现数据同步相关的知识,希望对你有一定的参考价值。

Rsync原理:

    Rsync是基于rsync算法校验源(SRC)与目标(DEST)之间的差异实现数据同步的。也就是说,当使用rsync工具同步数据的时候,只复制源发生改变的文件,到目标(DEST),这类似于增量备份。所以rsync同步数据的速度是很快的。但是rsync的传输性能很差,在海量小文件需要同步时,表现很不好。因为rsync是基于文件同步的(不是块级别的),在传输之前还要进行校验。

    Rsync的工作模式有多种,使用rsync的服务模式来构建:主/从服务器的数据同步。此时rsync工作为守护进程监听在:TCP/873,能收到客户端的数据同步请求。

    

inotify原理:

   inotify可以监控文件,也可以监控目录。当监控目录时,它可以同时监控目录及目录中的各子目录及文件的变化。由于intify使用文件扫描符作为借口,因此可以使用通常的文件I/O操作例如select、pool、epoll来见识文件系统的变化


环境需求:

Host1:

  CentOS-7-x86_64

  hostname:ws1

  ipaddr:10.0.0.61

Host2:

   CentOS-6-x86_64

   hostname:ws2

   ipaddr:10.0.0.62

注意:两台主机均为最小化安装iptables和selinux均处于关闭状态


配置Host1


CentOS 7最小化安装,默认已安装rsync包

技术分享


编辑rsync的配置文件

# vim /etc/rsyncd.conf

uid = root          //rsync同步共享用户的身份
gid = root          //rsync同步共享用户组的身份
use chroot = no         //不使用chroot
port = 873          //定义监听的端口,默认873
max connections = 200   //服务器最大并发数
timeout = 300          //会话超时时长
pid file = /var/run/rsyncd.pid    //pid文件存放路径
lock file = /var/run/rsyncd.lock    //lock文件存放路径,服务启动停止时会用到
log file = /var/log/rsyncd.log    //日志文件存放路径
log format = %h %o %1 %b      //日志记录格式
ignore errors              //忽略错误信息
read only = false           //是否允许用户上传文件,默认为true
list = false              //是否允许用户列出文件,默认为true
write only = false           //是否允许下载,默认为true
hosts allow = 10.0.0.61/8       //允许哪些主机访问
hosts deny = *   s         //拒绝哪些主机访问
auth users = sync            //同步时认证所需的用户
secrets file = /etc/rsyncd.passwd    //认证时所需的密码文件

[data]    //模块名称,客户端需精确指定模块名称
path = /data     //模块对应的目录路径


创建认证时的密码文件/etc/rsyncd.passwd(需要用户名和密码、明文存储,仅属主可读)

# echo "sync:123456" > /etc/rsynd.passwd
# chmod 600 /etc/rsynd.passwd


创建模块对应的目录,并确保属主和属组与配置文件中定义的uid和gid一致

# mkdir -p /data/
# ls -ld /data/
drwxr-xr-x 2 root root 21 5月  27 22:47 /data/
# cp /var/log/message /data/


启动服务,并检查进程和监听端口

# systemctl start rsyncd.service
# ps aux | grep rsync
root       3121  0.0  0.1 114640  1164 ?        Ss   22:47   0:00 /usr/bin/rsync --daemon --no-detach
root       3123  0.0  0.0 112660   956 pts/0    R+   22:48   0:00 grep --color rsync
# ss -tunl | grep 873
tcp    LISTEN     0      5         *:873                   *:*                  
tcp    LISTEN     0      5        :::873                  :::*


配置host2

创建认证时的密码文件~/rsyncd。passwd(仅需密码,明文存储、仅属主可读)

# echo "123456" > rsyncd.passwd
# chmod 600 rsyncd.passwd


测试查看rsync服务器上data模块中的文件

]# rsync --password-file=rsyncd.passwd [email protected]::data
drwxr-xr-x          21 2016/05/27 22:47:34 .
-rw-------      242668 2016/05/27 22:47:35 messages

注意:再一次踩坑,一定一定一定检查防火墙


建立本地数据目录文件/data,将/data目录与rsync服务器上data模块中定义的目录/data作为数据同步目录,即这两个目录中的数据要时刻保持一致。


测试:将host1的/data目录中的数据取过来。

# rsync -avz --password-file=rsyncd.passwd [email protected]::data /data/
receiving incremental file list
./
messages

sent 76 bytes  received 26839 bytes  53830.00 bytes/sec
total size is 242668  speedup is 9.02


然后在本地创建几个文件使用rsync命令同步到Host1的data目录中

# rsync -avz --password-file=rsyncd.passwd /data/ [email protected]::data

sending incremental file list
./
rsyncd.passwd

sent 2567 bytes  received 34 bytes  5202.00 bytes/sec
total size is 30649078  speedup is 11783.57


注意:目录后面的/ 如果少加了一个/,会将data目录本身而不是目录下的文件同步过去


# rm -f /data/fstab
# rsync -avz --delete --password-file=rsyncd.passwd /data/ [email protected]::data
sending incremental file list
deleting fstab

sent 2521 bytes  received 12 bytes  5066.00 bytes/sec
total size is 30649078  speedup is 12099.91

此时手动同步两个节点上目录中数据文件是没有问题了,现在需要实现的是Host2上的数据一改变立刻同步Host1上的数据,这就需要用到inotify了


inptify


inotify是内核中功能,但是需要通过系统调用接口程序才能够使用,这个接口程序由inotify-tools提供,所以嘛咱得安装!!!此处我们在host2上安装

# yum install -y inotify-tools
# # rpm -ql inotify-tools
/usr/bin/inotifywait
/usr/bin/inotifywatch
/usr/lib64/libinotifytools.so.0
/usr/lib64/libinotifytools.so.0.4.1


以下是几个inotify相关的内核参数,可能根据实际需要调整

# ls -l /proc/sys/fs/inotify/
总用量 0
-rw-r--r-- 1 root root 0 5月  28 00:23 max_queued_events
-rw-r--r-- 1 root root 0 5月  28 00:23 max_user_instances
-rw-r--r-- 1 root root 0 5月  28 00:23 max_user_watches


实时监控数据目录文件,发生改变立刻调用rsync进行数据同步,脚本如下

# vim auto_rsync.sh
#!/bin/bash

sync_user="sync"
sync_host="10.0.0.61"
sync_mod="data"
data_dir="/data/"

rsync_cmd="rsync -vzrtopg --delete --progress --password-file=./rsyncd.passwd $data_dir [email protected]$sync_host::$sync_mod"

inotifywait -mrq $data_dir --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib | while read files;
do
    $rsync_cmd
done


启动脚本,然后修改Host2 数据目录中的文件,观察变化

bash auto_rsync.sh 
sending incremental file list
./
deleting issue
deleting .auto_rsync.sh.swp
auto_rsync.sh
         359 100%    0.00kB/s    0:00:00 (xfer#1, to-check=108/110)

sent 2800 bytes  received 34 bytes  5668.00 bytes/sec
total size is 30649390  speedup is 10814.89







以上是关于rsync+inotify实现数据同步的主要内容,如果未能解决你的问题,请参考以下文章

rsync+inotify实现同步数据

0基础linux运维教程 Rsync结合inotify实现数据实时同步

rsync+inotify实现数据同步

inotify+rsync实现实时同步

inotify和rsync实现数据实时同步

inotify+rsync实现实时同步