sersync/lsyncd实时同步

Posted opesn

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了sersync/lsyncd实时同步相关的知识,希望对你有一定的参考价值。

第一章 sersync/lsync实时同步

1.1 实时同步服务原理/概念

1)需要部署好rsync守护进程服务,实现数据传输
2)需要部署好inotify服务,实现目录中数据变化监控
3)将rsync服务和inotify服务建立联系,将变化的数据进行实时备份传输

1.2 inotify介绍

? Inotify是一种强大的,细粒度的,异步的文件系统事件监视机制,Linux2.6.13起加入了inotify支持,通过inotify可以监控文件系统中添加,删除,修改,移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正是实施这样监控的软件,另外一个这样效果的软件是中国人周洋在金山公司开发的sersync,还有一个配置更简单的软件叫lsyncd

1.2.1 查看当前系统是否支持inotify

[root@nfs data]# uname -r
3.10.0-693.el7.x86_64

1.2.2 安装inotify-tools

[root@nfs data]# yum -y install inotify-tools

1.2.3 关键参数说明

[root@nfs backup]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_queued_events
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_instances
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_watches
-----------------------------------------------------------------------------
max_queued_events       #设置inotify实例事件(event)队列可容纳的事件数量
max_user_instances      #设置每个用户可以运行的inotify或者inotifywatch命令的进程数
max_user_watches        #设置inotifywait或者inotifywatch命令可以监控的文件数量(单进程)

1.2.4 inotifywait命令参数说明

inotifywait命令参数说明
参数名称            参数说明
-m ,-monitor       始终保持事件监听状态
-r,-recursive      递归查询目录
-q,-quiet          只打印监控事件的信息
-exclude           排除文件或目录时,不区分大小写
-t,-timeout        超时时间
-timefmt           指定时间输出格式
-format            指定时间输出格式
-e,event           后面指定增,删,改等事件
inotifywait events 事件说明
access             读取文件或目录内容
modify             修改文件或目录内容
attrib             文件或目录的属性改变
close_write        修改真实文件内容
open               文件或目录被打开
moved_to           文件或目录移动到
moved_from         文件或目录从...移动到
move               移动文件或目录移动到监视目录
create             在监视目录下创建文件或目录
delete             删除监视目录下的文件或目录
umount             卸载文件系统

1.2.5 inotify监控命令格式

测试创建和删除

[root@nfs data]# touch 01..02.txt
[root@nfs data]# rm -rf *
[root@nfs data]# 
[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e create,delete /data/

2019-07-19 15:58:32 /data/01.txt 事件信息: CREATE
2019-07-19 15:58:32 /data/02.txt 事件信息: CREATE
2019-07-19 15:59:30 /data/01.txt 事件信息: DELETE
2019-07-19 15:59:30 /data/02.txt 事件信息: DELETE

测试修改文件内容

[root@nfs data]# echo "11" >1.txt 
[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e close_write /data/

2019-07-19 16:01:42 /data/1.txt 事件信息: CLOSE_WRITE,CLOSE

1.2.6 利用inotify监控编写实时监控rsync发送脚本

[root@nfs ~]# cat inotify_push.sh 
#!/bin/bash

Path=/data
backup_Server=172.16.1.41
export RSYNC_PASSWORD=oldboy

/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data | while read line
do
echo "$line"
if [ -f $line ];then
    rsync -azvP $line --delete rsync_backup@$backup_Server::data
fi
done

1.2.7 inotify的优缺点

inotify的优点
1)监控文件系统事件变化,通过同步工具实现实时数据同步
inotify的缺点
1)并发如果大于200个文(10-100K),同步就会由延迟
2)我们前面的脚本,每次都是全部推送一次,但是确实是增量的,也可以只同步变化的文件
3)监控到事件后,调用rsync的同步是单进程(加&并发)sersync进程多同步

1.2.8 sersync功能多:(inotify + rsync命令)

1)支持通过配置文件管理
2)真正的守护进程socket
3)可以对失败文件定时重传(定时任务功能)
4)第三方的HTTP接口(例如:更新cdn缓存)
5)默认多线程rsync同步

1.3 使用sersync前提条件

1.部署好rsync的服务
2.修改sersync配置文件
3.启动sersync即可。

sersync下载地址:

1.3.1 安装sersync服务

[root@nfs application]# cd /home/tools/
[root@nfs tools]# ll
total 712
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz 
[root@nfs tools]# ll
total 712
drwxr-xr-x 2 root root     41 Oct 26  2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# mv GNU-Linux-x86/ /application/sersync
[root@nfs tools]# cd /application/sersync/
[root@nfs sersync]# tree ../sersync/
../sersync/
├── confxml.xml
└── sersync2

0 directories, 2 files
[root@nfs sersync]# 

1.3.2 修改配置文件confxml.xml

#排除指定数据信息不要进行实时传输同步
   <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
#定义inotify程序需要监控的事件
    <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>
#定义rsync服务功能
 <localpath watch="/data">
            <remote ip="172.16.1.41" name="backup"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-az"/>
            <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>

1.3.4 查看sersync帮助说明

[root@nfs sersync]# sersync2 -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________
[root@nfs sersync]# 

1.3.4启动sersync

[root@nfs sersync]# sersync2 -dro /application/sersync/confxml.xml
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d  run as a daemon
option: -r  rsync all the local files to the remote servers before the sersync work
option: -o  config xml name:  /application/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start,sersync run behind the console 
use rsync password-file :
user is rsync_backup
passwordfile is     /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
run the sersync: 
watch path is: /data
[root@nfs sersync]# 

1.4 lsyncd简介

Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。我认为它最令人称道的特性是,完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。另外,它的配置方式很简单,lua本身就是一种配置语言,可读性非常强。lsyncd也有多种工作模式可以选择,本地目录cp,本地目录rsync,远程目录rsyncssh。
实现简单高效的本地目录同步备份(网络存储挂载也当作本地目录),一个命令搞定。

1.4.1 安装lsyncd

[root@nfs01 ~]# yum install lsyncd -y
[root@nfs sersync]# rpm -qc lsyncd
/etc/logrotate.d/lsyncd
/etc/lsyncd.conf
/etc/sysconfig/lsyncd

1.4.2 创建配置文件

[root@nfs ~]# vim /etc/lsyncd.conf 
settings 
  logfile = "/var/log/lsyncd/lsyncd.log",
  statusFile = "/var/log/lsyncd/lsyncd.status",
  inotifyMode = "CloseWrite",
  maxProcesses = 8,

sync 
  default.rsync,
  source = "/data",
  target = "rsync_backup@172.16.1.41::backup",
  delete= true,
  exclude =  ".*" ,
  delay = 1,
  rsync = 
    binary = "/usr/bin/rsync",
    archive = true,
    compress = true,
    verbose = true,
    password_file = "/etc/rsync.password",
    _extra = "--bwlimit=200"
  

配置说明

settings                                       #里面是全局设置
  logfile = "/var/log/lsyncd/lsyncd.log",          #定义日志文件
  statusFile = "/var/log/lsyncd/lsyncd.status",     #定义状态文件
  inotifyMode = "CloseWrite",                     #指定inotify监控的事件
  maxProcesses = 8,                             #同步进程的最大个数。假如同时有20个文件需要同步,而                                                 maxProcesses = 8,则最大能看到有8个rysnc进程

sync                                          #里面是定义同步参数
  default.rsync,
  source = "/data",                             #同步的源目录,使用绝对路径。             
  target = "rsync_backup@172.16.1.41::backup",     #定义目的地址.对应不同的模式有几种写法:
                                               #/tmp/dest :本地目录同步,可用于direct和rsync模式172.29.88.223:/tmp/dest :同步到远程服务器目录,可用于rsync和rsyncssh模式
  delete= true,                                 #为了保持target与souce完全同步
  exclude =  ".*" ,                           #排除
  delay = 1,                                    #累计事件,等待rsync同步延时时间
  rsync =                                     #rsync模式
    binary = "/usr/bin/rsync",                    #rsync命令路径
    archive = true,                             #归档模式传输, 等于-tropgDl
    compress = true,                            #压缩传输默认为true
    verbose = true,                             #详细模式输出, 打印速率, 文件数量等
    password_file = "/etc/rsync.password",        #免交互登录
    _extra = "--bwlimit=200"                   #限速,单位kb/s
  

1.4.3 启动命令

[root@nfs ~]# systemctl start lsyncd

以上是关于sersync/lsyncd实时同步的主要内容,如果未能解决你的问题,请参考以下文章

Rsync+inotify 实时数据同步 inotify master 端的配置

实时同步服务知识梳理

5Sersync实时同步实战

inotify+rsync实现实时同步

inotify+rsync实现实时同步

四.实时同步