rsync+inotify实现数据同步
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了rsync+inotify实现数据同步相关的知识，希望对你有一定的参考价值。
rsync：Remote Sync，是类Unix系统下的数据镜像备份工具。通过rsync可以解决对实时性要求不高的数据进行备份需求；例如：指定的备份文件服务器数据到指定的远端服务器，对本地磁盘定期做数据镜像等。
inotify：inotify是一种文件变化通知机制；通过inotify可以在监控文件系统中添加、删除、修改、移动等各种操作
准备环境：
| 主服务器（inotify-Master） | IP：172.18.42.201 |
| 从服务器（inotify-Slave） | IP：172.18.42.200 |
一、部署inotify-Slave
1、安装rsync程序
[[email protected] ~]# yum install rsync
2、创建rsync用户
[[email protected] ~]# useradd -s /bin/nologin -M rsync
3、创建rsync工作模块的目录
[[email protected] ~]# mkdir /mydata/ ##创建rsync工作模式的模块目录 [[email protected] ~]# chown rsync.rsync /mydata/ ##更改属主、主组；使rsync用户有权限更改数据 [[email protected] ~]# ls -ld /mydata/ drwxr-xr-x 2 rsync rsync 6 May 19 21:02 /mydata/
4、配置虚拟用户的密码文件/etc/rsync.password
[[email protected] ~]# vim /etc/rsync.password lweim:linux ##“lweim”为虚拟用户用户名；“linux”为虚拟用户密码 [[email protected] ~]# chmod 600 /etc/rsync.password ##为密码文件增加安全性 [[email protected] ~]# ll /etc/rsync.password -rw------- 1 root root 12 May 18 21:54 /etc/rsync.password
5、配置rsync配置文件/etc/rsyncd.conf
[[email protected] ~]# vim /etc/rsyncd.conf uid = rsync gid = rsync user chroot = no max connections = 200 timeout = 300 read only = no [rsync] ##定义模块名，名字可随意 path = /mydata ##指定rsync用户的模块目录 auth users = lweim ##指定虚拟用户名 secrets file = /etc/rsync.password ##指定虚拟用户的密码文件路径 ignore errors ##表示忽略错误
6、启动rsync服务
[[email protected] ~]# rsync --daemon --config=/etc/rsyncd.conf ##rsync监听在tcp协议的873端口 [[email protected] ~]# ps aux | grep rsync root 1330 0.0 0.0 114640 328 ? Ss 21:13 0:00 rsync --daemon --config=/etc/rsyncd.conf root 1338 0.0 0.1 112644 952 pts/0 R+ 21:13 0:00 grep --color=auto rsync
二、配置inotify-master的密码文件
1、配置虚拟用户的密码文件
[[email protected] ~]# echo "linux" > /etc/rsync.password [[email protected] ~]# cat /etc/rsync.password linux ##注意：只需要写出虚拟用户的密码；不用写出用户名 [[email protected] ~]# chmod 600 /etc/rsync.password [[email protected] ~]# ls -ld /etc/rsync.password -rw------- 1 root root 6 May 19 21:18 /etc/rsync.password
三、通过inotify-master测试推送文件
[[email protected] ~]# echo "Hello Word" > lweim.txt [[email protected] ~]# rsync -avz lweim.txt [email protected]::rsync --password-file=/etc/rsync.password sending incremental file list lweim.txt sent 81 bytes received 27 bytes 216.00 bytes/sec total size is 11 speedup is 0.10
四、检查inotify-slave的工作模块目录
[[email protected] ~]# ll /mydata/ total 4 -rw-r--r-- 1 rsync rsync 11 May 19 21:21 lweim.txt [[email protected] ~]# cat /mydata/lweim.txt Hello Word ##推送成功
五、部署rsync-master
1、通过inofity源码包编译安装
[[email protected] ~]# tar -xf inotify-tools-3.13.tar [[email protected] ~]# cd inotify-tools-3.13/ [[email protected] inotify-tools-3.13]# ./ configure --prefix=/usr/local/inotify ##指明安装路径 [[email protected] ~]# make -j 4 && make install
2、编写监控脚本
[[email protected] ~]# vim inotify.sh #!/bin/bash host=172.18.42.200 ##指明inotify-slave的ip地址 src=/www/lweim ##本机监控的目录，可随意定义 dst=rsync ##inotify-slave的rsync用户的模块目录 user=lweim ##虚拟用户的用户名 passfile=/etc/rsync.password ##调用本地的密码文件 inotify_home=/usr/local/inotify ##指明inotify的安装目录 if [ ! -e "$src" ] || [ ! -e "${inotify_home}/bin/inotifywait" ] || [ ! -e "/usr/bin/rsync" ] || [ ! -e "/etc/rsync.password" ]; then #if [ ! -e "${inotify_home}/bin/inotifywait" ] || [ ! -e "/usr/bin/rsync" ] || [ ! -e "/etc/rsync.password" ]; then echo "Check File and Folder" exit 1 fi ${inotify_home}/bin/inotifywait -mrq -e close_write,delete,create,attrib $src | while read file do cd $src && rsync -arvz -P ./ --timeout=100 [email protected]$host::$dst --password-file=$passfile &>/dev/null done exit 0
六、执行inotify-master上的inotify.sh脚本
[[email protected] ~]# bash -x inotify.sh ##运行脚本 + host=172.18.42.200 + src=/web/lweim/ + dst=rsync + user=lweim + passfile=/etc/rsync.password + inotify_home=/usr/local/inotify + ‘[‘ ‘!‘ -e /web/lweim/ ‘]‘ + ‘[‘ ‘!‘ -e /usr/local/inotify/bin/inotifywait ‘]‘ + ‘[‘ ‘!‘ -e /usr/bin/rsync ‘]‘ + ‘[‘ ‘!‘ -e /etc/rsync.password ‘]‘ + read file + /usr/local/inotify/bin/inotifywait -mrq -e close_write,delete,create,attrib /web/lweim/
七、在inotify-master本机监控的目录下创建文件
[[email protected] lweim]# pwd /www/lweim [[email protected] lweim]# touch a aa aaa aaaa [[email protected] lweim]# ll total 0 -rw-r--r-- 1 root root 0 May 19 22:54 a -rw-r--r-- 1 root root 0 May 19 22:54 aa -rw-r--r-- 1 root root 0 May 19 22:54 aaa -rw-r--r-- 1 root root 0 May 19 22:54 aaaa
八、在inotify-slave的rsync工作模块目录下查看
[[email protected] mydata]# ll total 0 -rw-r--r-- 1 rsync rsync 0 May 19 22:54 a -rw-r--r-- 1 rsync rsync 0 May 19 22:54 aa -rw-r--r-- 1 rsync rsync 0 May 19 22:54 aaa -rw-r--r-- 1 rsync rsync 0 May 19 22:54 aaaa [[email protected] mydata]# pwd /mydata
附件为配置rsync常见问题！！
本文出自 “wtc” 博客，请务必保留此出处http://wangtianci.blog.51cto.com/11265133/1775224
以上是关于rsync+inotify实现数据同步的主要内容，如果未能解决你的问题，请参考以下文章