全网实时热备inotify+rsync

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了全网实时热备inotify+rsync相关的知识，希望对你有一定的参考价值。

title: 全网实时热备inotify+rsync
tags: 备份,inotify,rsync
grammar_cjkRuby: true

[TOC]

全网实时热备inotify+rsync

1 为什么需要inotify?

技术分享图片
当全网部署了NFS存储后，如果提供NFS服务的设备宕机或者故障了，那么我们的与之相连的NFS客户端都会受到影响，严重可能会导致数据丢失，因此，为了防止单点故障，我们要给提供NFS服务的主机的数据目录做一个实时同步，这样NFS服务器宕机或者其他故障后，我们能很轻易的把备份节点设置为NFS的共享目录，让那些NFS客户端重新挂载NFS共享盘，这样可以尽量减少损失，提高服务满意度。
inotify是可以监控文件系统操作，比如读取、写入和创建。Inotify 反应灵敏，用法非常简单，使用起来也十分高效， 而rsync可以直接推送文件到远程daemon目录，而且支持增量备份。因此我们可以通过使用inotify监控到文件系统有创建，删除，修改后触发rsync进行同步推送到备份服务器里。于是如图所示，我们在备份服务器里搭建一个rsync daemon,并创建/backup用来专门与NFS存储的数据目录作为实时同步的远端目录，而在对应的NFS存储中安装inotify,用来对/data目录进行动态监控，一旦发现/data目录有创建，删除，修改后立刻触发rsync进行同步推送到备份服务器的/backup里，从而保证两端的数据一致性，增强NFS存储的安全性。

2 安装inotify

  1. 下载源码包文件：inotify-tools-3.14.tar.gz

  2. 解压缩，并安装inotify，因为inotify是一个源码包文件，所以安装的时候注意，先要编译，通过--prefix=PATH指定编译安装的路径，然后在进行make和make install。安装完成后，因为源码安装是带程序的版本号的，最好做一个软链接把版本号去掉，这样在后续使用中会方便很多。另外安装后，在安装目录中会生成4个目录，bin （inotify的执行命令）、 include （inotify所需的头文件） 、lib （动态链接文件）、 share (帮助文档）。安装过程如下：

    [[email protected] ~]# tar zxf inotify-tools-3.14.tar.gz  
[[email protected] ~]# ls -l |grep "inotify-tools-3.14"
drwxrwxrwx.  5 1000 1000    4096 Mar 14  2010 inotify-tools-3.14
-rw-r--r--.  1 root root  358772 May 19 17:52 inotify-tools-3.14.tar.gz
[[email protected] ~]# cd inotify-tools-3.14      
[[email protected] inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14/
[[email protected] inotify-tools-3.14]# make && make install
[[email protected] inotify-tools-3.14]# ln -s /usr/local/inotify-tools-3.14 /usr/local/inotify-tools 
[[email protected] inotify-tools-3.14]# cd /usr/local/inotify-tools && ls
bin  include  lib  share

3 inotify的相关命令和参数介绍

  1. inotify 有两个工具，一个是inotifywait，这个的作用是在被监视的文件或目录上等待特定文件系统事件（open,close.delete等）的发生，执行后处于阻塞状态。另一个工具是inotifywatch,它的作用是在收集被监视文件系统使用度统计数据，指文件系统事件发生次数的统计。我们此次用来监控文件系统事件的发生是使用inotifywait工具。
  2. 常用参数有：
-m :始终监控
-q:安静，不输出其他东西
-r:递归
-e:文件系统事件，文件系统事件常用参数有create,delete,close_write
具体可以查询帮助：[[email protected] bin]# ./inotifywait -help
常用语法：[[email protected] data]#  /usr/local/inotify-tools/bin/inotifywait -mrq --format %w%f -e create,close_write,delete /data

3 . 对inotify进行测试，看看是否满足需求

[[email protected] data]#  /usr/local/inotify-tools/bin/inotifywait -mrq --format %w%f -e create,close_write,delete /data
因为inotify开启后是时刻监控着/data目录，切处于阻塞状态，因此我们要么让它在后台运行，要么重新开一个窗口，因为我们需要清晰的看到监控的事件，因此重新再打开一个窗口。
Last login: Sun May 20 20:06:00 2018 from 192.168.50.50
[[email protected] ~]# 
[[email protected] ~]# cd /data
[[email protected] data]# ls
a  aaa  bb  cc  dd  file  nnn
[[email protected] data]# 
[[email protected] data]# 
[[email protected] data]# rm -rf *
[[email protected] data]# ls
[[email protected] data]# 
[[email protected] data]#  /usr/local/inotify-tools/bin/inotifywait -mrq --format %w%f -e create,close_write,delete /data

/data/a
/data/aaa
/data/bb
/data/cc
/data/dd
/data/file
/data/nnn
由此我们可以看到了，inotify确实监控到了这些事件的发生，因此我们可以利用read这个变化来触发调用rsync进行推送数据。

4 在备份服务器上部署rsync daemon

  1. 创建rsync的配置文件，并将相关参数写入配置文件，如下所示 
    [[email protected] ~]# touch /etc/rsyncd.conf
[[email protected] ~]# cat /etc/rsyncd.conf 
#rsyncd-conf start 
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file= /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore = errors
read only = false
list = false
hosts allow = 192.168.50.0/24
hosts deny = 0.0.0.0/32
auth users = rsync-backup
secrets file = /etc/rsync.password
#####################################
[backup]
comment = backup
path = /backup
  2. 创建密码文件，并设置相关权限，用来和rsync客户端匹配密码的。 
    [[email protected] ~]# touch /etc/rsync.password
[[email protected] ~]# echo "rsync-backup:root" >/etc/rsync.password
[[email protected] ~]# cat /etc/rsync.password                      
rsync-backup:root
[[email protected] ~]# chmod 600 /etc/rsync.password
[[email protected] ~]# ls -l /etc/rsync.password    
-rw-------. 1 root root 18 May 21 06:23 /etc/rsync.password
这里需要注意密码文件必须和配置文件里的相对应
  3. 创建rsync用户，设置为不需要登录，组也是rsync,需要注意的是这个用户要和配置文件里的uid=用户对应，而auth users = rsync-backup是个虚拟的用户可以不用管，这可以在一定程度上提高安全性，因为rsync的用户名不一定需要使用rsync，只要与配置文件里的uid=XX，对应上就好了。 
    [[email protected] ~]# useradd -g rsync -M -s /sbin/nologin rsync
[[email protected] ~]# grep rsync /etc/passwd
rsync:x:506:506::/home/rsync:/sbin/nologin
  4. 启动rsync daemon
    [[email protected] ~]# rsync --daemon
  5. 在对应的NFS服务器上也创建密码文件，用于来和服务端匹配密码如下： 
    [[email protected] data]# echo "root" > /etc/rsync.password   
[[email protected] data]# chmod 600  /etc/rsync.password
[[email protected] data]# ls -l /etc/rsync.password                                -rw-------. 1 root root 5 May 14 20:44 /etc/rsync.password
  6. 在NFS服务器上推送文件看看是否能成功推送 
    [[email protected] data]# echo "hello" >file1 
[[email protected] data]# rsync file1 [email protected]::backup/ --password-file=/etc/rsync.password
在备份服务器查看是否推送成功
[[email protected] ~]# cat /backup/file1
hello
[[email protected] /]# cd /backup &&ls
backup  file1
[[email protected] backup]#

    5 我们可以在NFS服务端部署脚本，让脚本监控到事件发生后调用rsync进行推送

    [[email protected] scripts]# cat inotify.sh 
#!/bin/bash
inotify=/usr/local/inotify-tools/bin/inotifywait
$inotify -mrq --format ‘%w%f‘ -e create,close_write,delete /data | while read file
do
cd / &&
rsync -az /data --delete [email protected]::backup/ --password-file=/etc/rsync.password
done

    6 进行对server和backup进行测试

    server端创建文件：
[[email protected] data]# rm -rf *
[[email protected] data]# touch a
[[email protected] data]# rm -rf *
[[email protected] data]# for n in `seq 1000` ;do touch file$n; done
[[email protected] data]# ls |wc -l
1000
backup端查看是否推送过来：
[[email protected] backup]# cd data
[[email protected] data]# ls
a
[[email protected] data]# 
[[email protected] data]# 
[[email protected] data]# ls
[[email protected] data]#
[[email protected] data]# ls |wc -l
1000

    7 将inotify脚本设置为开机启动，这样两台服务器就可以永久实现实时同步

    [[email protected] data]# echo "sh /service/scripts/inotify.sh &" >>/etc/rc.local

8 inotify对应的优化参数：

在/proc/sys/fs/inotify目录下的max_queued_events 、max_user_instances、max_user_watches对inotify有一定的限制。其中：

  1. max_user_watches：设置inotifywaite或者inotifywatch命令可以监控的文件数量（单进程），可以设置为50000000。
    [[email protected] inotify]# echo "50000000" > /proc/sys/fs/inotify/max_user_watches
  2. max_user_instances：设置每个用户可以运行inotifywaite或者inotifywatch命令的进程数，默认是128，可以设置为50000000。 
    [[email protected] inotify]# echo "50000000" > /proc/sys/fs/inotify/max_user_instances [[email protected] inotify]# cat max_user_instances
50000000
  3. max_queued_events：设置inotify实例事件（event)队列可容纳事件的数量，默认是327679，可以设置为50000000。 
    [[email protected] inotify]# cat  max_queued_events
327679
[[email protected] inotify]# echo "50000000" > /proc/sys/fs/inotify/max_queued_events 
[[email protected] inotify]# cat max_queued_events
50000000

以上是关于全网实时热备inotify+rsync的主要内容，如果未能解决你的问题，请参考以下文章

inotify+rsync实现实时同步部署

inotify+rsync实现实时同步部署

全网数据备份+inotify实时监测

4-综合-小规模全网实时同步

Linux 期中架构 inotify

rsync+inotify实现代码实时同步