sersync/lsyncd实时同步

Posted 2022-05-24 opesn

第一章 sersync/lsync实时同步

1.1 实时同步服务原理/概念

1)需要部署好rsync守护进程服务，实现数据传输
2)需要部署好inotify服务，实现目录中数据变化监控
3)将rsync服务和inotify服务建立联系，将变化的数据进行实时备份传输

1.2 inotify介绍

? Inotify是一种强大的,细粒度的,异步的文件系统事件监视机制,Linux2.6.13起加入了inotify支持,通过inotify可以监控文件系统中添加,删除,修改,移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正是实施这样监控的软件,另外一个这样效果的软件是中国人周洋在金山公司开发的sersync,还有一个配置更简单的软件叫lsyncd

1.2.1 查看当前系统是否支持inotify

[root@nfs data]# uname -r
3.10.0-693.el7.x86_64

1.2.2 安装inotify-tools

[root@nfs data]# yum -y install inotify-tools

1.2.3 关键参数说明

[root@nfs backup]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_queued_events
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_instances
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_watches
-----------------------------------------------------------------------------
max_queued_events       #设置inotify实例事件（event）队列可容纳的事件数量
max_user_instances      #设置每个用户可以运行的inotify或者inotifywatch命令的进程数
max_user_watches        #设置inotifywait或者inotifywatch命令可以监控的文件数量（单进程）

1.2.4 inotifywait命令参数说明

inotifywait命令参数说明
参数名称            参数说明
-m ,-monitor       始终保持事件监听状态
-r,-recursive      递归查询目录
-q,-quiet          只打印监控事件的信息
-exclude           排除文件或目录时,不区分大小写
-t,-timeout        超时时间
-timefmt           指定时间输出格式
-format            指定时间输出格式
-e,event           后面指定增,删,改等事件
inotifywait events 事件说明
access             读取文件或目录内容
modify             修改文件或目录内容
attrib             文件或目录的属性改变
close_write        修改真实文件内容
open               文件或目录被打开
moved_to           文件或目录移动到
moved_from         文件或目录从...移动到
move               移动文件或目录移动到监视目录
create             在监视目录下创建文件或目录
delete             删除监视目录下的文件或目录
umount             卸载文件系统

1.2.5 inotify监控命令格式

测试创建和删除

[root@nfs data]# touch 01..02.txt
[root@nfs data]# rm -rf *
[root@nfs data]# 

[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e create,delete /data/

2019-07-19 15:58:32 /data/01.txt 事件信息: CREATE
2019-07-19 15:58:32 /data/02.txt 事件信息: CREATE
2019-07-19 15:59:30 /data/01.txt 事件信息: DELETE
2019-07-19 15:59:30 /data/02.txt 事件信息: DELETE

测试修改文件内容

[root@nfs data]# echo "11" >1.txt 

[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e close_write /data/

2019-07-19 16:01:42 /data/1.txt 事件信息: CLOSE_WRITE,CLOSE

1.2.6 利用inotify监控编写实时监控rsync发送脚本

[root@nfs ~]# cat inotify_push.sh 
#!/bin/bash

Path=/data
backup_Server=172.16.1.41
export RSYNC_PASSWORD=oldboy

/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data | while read line
do
echo "$line"
if [ -f $line ];then
    rsync -azvP $line --delete rsync_backup@$backup_Server::data
fi
done

1.2.7 inotify的优缺点

inotify的优点
1）监控文件系统事件变化，通过同步工具实现实时数据同步
inotify的缺点
1）并发如果大于200个文（10-100K），同步就会由延迟
2）我们前面的脚本，每次都是全部推送一次，但是确实是增量的，也可以只同步变化的文件
3）监控到事件后，调用rsync的同步是单进程（加＆并发）sersync进程多同步

1.2.8 sersync功能多：（inotify + rsync命令）

1）支持通过配置文件管理
2）真正的守护进程socket
3）可以对失败文件定时重传（定时任务功能）
4）第三方的HTTP接口（例如：更新cdn缓存）
5）默认多线程rsync同步

1.3 使用sersync前提条件

1.部署好rsync的服务
2.修改sersync配置文件
3.启动sersync即可。

sersync下载地址：

1.3.1 安装sersync服务

[root@nfs application]# cd /home/tools/
[root@nfs tools]# ll
total 712
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz 
[root@nfs tools]# ll
total 712
drwxr-xr-x 2 root root     41 Oct 26  2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# mv GNU-Linux-x86/ /application/sersync
[root@nfs tools]# cd /application/sersync/
[root@nfs sersync]# tree ../sersync/
../sersync/
├── confxml.xml
└── sersync2

0 directories, 2 files
[root@nfs sersync]# 

1.3.2 修改配置文件confxml.xml

#排除指定数据信息不要进行实时传输同步
   <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>

#定义inotify程序需要监控的事件
    <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>

#定义rsync服务功能
 <localpath watch="/data">
            <remote ip="172.16.1.41" name="backup"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-az"/>
            <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>

1.3.4 查看sersync帮助说明

[root@nfs sersync]# sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
[root@nfs sersync]# 

1.3.4启动sersync

[root@nfs sersync]# sersync2 -dro /application/sersync/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d  run as a daemon
option: -r  rsync all the local files to the remote servers before the sersync work
option: -o  config xml name：  /application/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start，sersync run behind the console 
use rsync password-file :
user is rsync_backup
passwordfile is     /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
run the sersync: 
watch path is: /data
[root@nfs sersync]# 

1.4 lsyncd简介

Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。我认为它最令人称道的特性是，完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。另外，它的配置方式很简单，lua本身就是一种配置语言，可读性非常强。lsyncd也有多种工作模式可以选择，本地目录cp，本地目录rsync，远程目录rsyncssh。
实现简单高效的本地目录同步备份（网络存储挂载也当作本地目录），一个命令搞定。

1.4.1 安装lsyncd

[root@nfs01 ~]# yum install lsyncd -y
[root@nfs sersync]# rpm -qc lsyncd
/etc/logrotate.d/lsyncd
/etc/lsyncd.conf
/etc/sysconfig/lsyncd

1.4.2 创建配置文件

[root@nfs ~]# vim /etc/lsyncd.conf 
settings 
  logfile = "/var/log/lsyncd/lsyncd.log",
  statusFile = "/var/log/lsyncd/lsyncd.status",
  inotifyMode = "CloseWrite",
  maxProcesses = 8,

sync 
  default.rsync,
  source = "/data",
  target = "rsync_backup@172.16.1.41::backup",
  delete= true,
  exclude =  ".*" ,
  delay = 1,
  rsync = 
    binary = "/usr/bin/rsync",
    archive = true,
    compress = true,
    verbose = true,
    password_file = "/etc/rsync.password",
    _extra = "--bwlimit=200"
  

配置说明

settings                                       #里面是全局设置
  logfile = "/var/log/lsyncd/lsyncd.log",          #定义日志文件
  statusFile = "/var/log/lsyncd/lsyncd.status",     #定义状态文件
  inotifyMode = "CloseWrite",                     #指定inotify监控的事件
  maxProcesses = 8,                             #同步进程的最大个数。假如同时有20个文件需要同步，而                                                 maxProcesses = 8，则最大能看到有8个rysnc进程

sync                                          #里面是定义同步参数
  default.rsync,
  source = "/data",                             #同步的源目录，使用绝对路径。             
  target = "rsync_backup@172.16.1.41::backup",     #定义目的地址.对应不同的模式有几种写法：
                                               #/tmp/dest ：本地目录同步，可用于direct和rsync模式172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式
  delete= true,                                 #为了保持target与souce完全同步
  exclude =  ".*" ,                           #排除
  delay = 1,                                    #累计事件，等待rsync同步延时时间
  rsync =                                     #rsync模式
    binary = "/usr/bin/rsync",                    #rsync命令路径
    archive = true,                             #归档模式传输, 等于-tropgDl
    compress = true,                            #压缩传输默认为true
    verbose = true,                             #详细模式输出, 打印速率, 文件数量等
    password_file = "/etc/rsync.password",        #免交互登录
    _extra = "--bwlimit=200"                   #限速，单位kb/s
  

1.4.3 启动命令

[root@nfs ~]# systemctl start lsyncd