rsync+inotify文件同步

Posted achengmu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync+inotify文件同步相关的知识,希望对你有一定的参考价值。

rsync+inotify文件同步

   在服务器中,通常结合计划任务、shell脚本来执行本地备份。为了进一步提高备份的可靠性,使用异地备份也是非常重要的,利用rsync工具,可以实现快速、高效的异地备份。本篇博客将配置rsync+crond实现定时备份、配置ssh+rsync+inotify实现触发式备份

 

rsync概述

   rsync(Remote Sync,远程同步)是一个开源的快速备份工具,适用于异地备份、镜像服务器等。作为一种最常用的文件备份工具,往往是Linux和UNIX系统默认安装的基本组件之一

具有以下特性:

(1)可以在不同主机间镜像同步整个目录树和文件系统

(2)可以很容易做到保持原来文件的权限、时间、软硬链接等

(3)支持增量备份

(3)无须特殊权限即可安装

(4)优化的同步算法,传输前执行压缩,文件传输效率高

(5)可以使用 rsh、ssh 方式来传输文件

(6)支持匿名传输,以方便进行网站镜象

 

 

192.168.175.129同步源(文件往这里传)

192.168.175.128客户端(文件提交)

例子1: rsync手动同步

 设置同步源:vi /etc/rsyncd.conf

#目录是:/var/www/html,那么这个目录权限用户是nginx
 uid = nginx 
 gid = nginx
 port = 873                            //监听端口
 host all = 192.168.175.129     //监听地址,本机地址
 use chroot = yes                   //禁锢在源目录
 max connections = 4            
 timeout = yes                   
 hosts allow = 192.168.175.128    //允许访问的客户机地址
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

[webroot]                          //共享模块名称
path=/var/www/html        //源目录的路径
comment = rsync files     //描述信息
ignore errors
read only = no                   //是否为只读
list = yes                        
auth users = muyang        //授权账户,如果采用匿名账户,可以去掉
secrets file = /etc/rsync_server.passwd   
//存放授权账户信息的数据文件

  

//为备份账户建立数据文件: //用:分隔账户和密码,无需建立同名系统用户

/etc/rsync_server.passwd
muyang:rsync

  

//修改权限,避免信息泄露

 chmod 600 /etc/rsync_server.passwd

  

 vim /etc/sysconfig/selinux   //关闭selinux

SELINUX=disabled

  

setenforce 0                 //立即生效

 

iptables -I INPUT -p tcp --dport 873 -j ACCEPT   //允许tcp873端口通过防火墙

 

启动rsync

rsync –daemon –config=/etc/rsyncd.conf 
开机启动: 
vim /etc/rc.local 
/usr/bin/rsync –daemon

 

执行同步:将128目录下文件,拉取129目录

rsync -avz [email protected]::webroot /root

  

 

例2:将128目录下的文件同步到129目录下

  • 安装inotify-tools工具

??使用inotify机制还需要安装inotify-tools,以便提供inotifywait、inotifywatch辅助工具程序,用来监控、汇总改动情况。

yum -y install epel-release
yum install inotify-tools --enablerepo=epel

  

1. 调整inotify内核参数

    Linux内核中,默认的inotify机制提供了三个调控参数,分别表示监控事件队列、最多监控实例数、每个实例最多监控文件数。当需要监控的目录、文件数量过多时,建议加大这三个参数

[[email protected] ~]# cat /proc/sys/fs/inotify/max_queued_events 
16384                                               //监控事件队列默认16384
[[email protected] ~]# cat /proc/sys/fs/inotify/max_user_instances 
128                                                 //最多监控实例数默认128
[[email protected] ~]# cat /proc/sys/fs/inotify/max_user_watches 
8192                                                //每个实例最多监控文件数默认8192
[[email protected] ~]# vim /etc/sysctl.conf         //如果监控文件过多,建议加大数量 
fs.inotify.max_queued_events=16384               //添加三行
fs.inotify.max_user_instances=1024
fs.inotify.max_user_watches=1048576
[[email protected] ~]# sysctl -p                    //立即生效

  

inotifywait:可监控modify(修改)、create(创建)、move(移动)、delete(删除)、attrib(属性更改)等各种事件,一有变动立即输出结果

inotifywatch:可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况

-m  表示持续监控

-r  表示递归整个目录

-q  表示简化输出信息

-e  用来指定监控哪些事件

 

在rsync同步源启用密钥对验证

[[email protected] html]# vim /etc/ssh/sshd_config   //修改sshd服务配置文件
PubkeyAuthentication yes                          //找到这两项,去掉注释
AuthorizedKeysFile      .ssh/authorized_keys
[[email protected] html]# service sshd reload        //重载服务

  

 在rsync发起端创建ssh密钥对,并将公钥导入到服务器公钥文本     

[[email protected] ~]# ssh-keygen -t rsa         //使用RSA算法生成密钥对
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):   
Enter passphrase (empty for no passphrase): 
Enter same passphrase again:                 //按三下Enter键,实现无口令登录
[[email protected] ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]    //将公钥文件上传到rsync同步源
The authenticity of host ‘192.168.175.129 (192.168.175.129)‘ can‘t be established.
RSA key fingerprint is e5:c6:c7:96:30:eb:04:00:da:e9:43:72:67:d7:ff:e3.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘192.168.175.129‘ (RSA) to the list of known hosts.
[email protected]‘s password:                                             //输入同步源用户密码
Now try logging into the machine, with "ssh ‘[email protected]‘", and check in:
  .ssh/authorized_keys
to make sure we haven‘t added extra keys that you weren‘t expecting
[[email protected] ~]# ssh [email protected]            //成功登录sync同步源
[[email protected] ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:1C:B4:FB  
          inet addr:192.168.175.129  Bcast:192.168.175.255  Mask:255.255.255.0

  

退回到128服务器,编写触发式同步脚本

这个脚本是有问题的(file列表是循环形式触发rsync ,等于有10个文件发生更改,就触发10次rsync全量同步(简直就是噩梦),那还不如直接写个死循环的rsync全量同步得了)

[[email protected]host ~]# vim rsync.sh               //编写脚本,若进程已经存在,则忽略本次备份,避免并发执行rsync备份
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete /var/www/html/ [email protected]:/var/www/html"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done
[[email protected] ~]# chmod +x rsync.sh           //添加执行权限,并且服务器开机自动运行此脚本    
[[email protected] ~]# echo ‘/root/rsync.sh‘ >> /etc/rc.local

6. 验证脚本是否正确

(1)128f服务器执行脚本,

(2)并新开一个连接到128服务器上,切换到本机/var/www/html目录,执行增、删、改等操作,

(3)查看129服务器下/var/www/html 文件及文件是否有了变化

 





以上是关于rsync+inotify文件同步的主要内容,如果未能解决你的问题,请参考以下文章

rsync+inotify文件同步

rsync+inotify实现数据同步

rsync+inotify实时同步

Rsync + inotify 实现文件实时同步

rsync下行同步+inotify实时同步部署

CentOS利用inotify+rsync实现文件同步