数据的实时同步

Posted 2020-08-17

一、两主机间数据的实时同步

1.同步原理

利用监控服务（inotify），监控同步数据服务器目录中信息的变化发现目录中数据产生变化，就利用rsync服务推送到备份服务器上

2.实现方式

inotify+rsync方式实现数据同步
sersync 在inotify 软件基础上进行开发的，功能更加强大

3.inotify

异步的文件系统时间监控机制，利用事件驱动机制，而无须通过诸如cron等的轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文件系统中添加、删除，修改、移动等各种事件

4.实现数据同步的软件

inotify-tools，sersync，lrsyncd

二、inotify和rsync实现实时同步

1.inotify对同步数据目录信息的监控
2.rsync完成对数据的同步
3.利用脚本进行结合

三、具体步骤

1.在服务端安装rsync包

yum install rsync

2.配置rsync的配置文件

vim /etc/rsync.conf
uid = root
gid = root
use chroot = no
max connections = 0
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log   //日志文件路径
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock  //锁文件路径
reverse lookup = no
hosts allow = 192.168.30.16/24 //允许此主机同步
[backup]
path = /backup/   //同步数据路径
comment = backup    //共享说明
read only = no      //非只读
auth users = javis  //允许此用户访问
secrets file = /etc/rsync.pass  //账号文件路径

3.服务器端生成验证文件

echo "javis:zhuzhuzhu" > /etc/rsync.pass
chmod 600 /etc/rsync.pass

4.服务器端准备目录

mkdir /backup

5.启动服务

rsync  --deamon  //可加入/etc/rc.d/rc.local实现开机启动

6.客户端配置密码文件

echo "zhuzhuzhu"  > /etc/rsync.pass
chmod 600 /etc/rsync.pass

7.客户端安装软件

yum install inotify-tools rsync -y

8.客户端测试同步数据

rsync  -avz  --password-file=/etc/rsync.pass  /data/ [email protected]::backup

9.编写客户端脚本inotify_rsync.sh实现同步

#!/bin/bash
SRC=‘/data/‘  //需要同步的目录
DEST=‘[email protected]::backup‘  //同步到的目录
inotifywait -mrq --timefmt ‘%Y-%m-%d %H:%M‘ --format ‘%T %w %f‘ -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST &&  echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
done

10.inotifywait命令常见选项

-m, --monitor 始终保持事件监听
-d, --daemon 以守护进程方式执行，和-m相似，配合-o使用
-r, --recursive 递归监控目录数据信息变化
-q, --quiet 输出少量事件信息
--timefmt <fmt> 指定时间输出格式
--format <fmt> 指定的输出格式；即实际监控输出内容
-e 指定监听指定的事件，如果省略，表示所有事件都进行监听
--exclude <pattern> 指定排除文件或目录，使用扩展的正则表达式匹配的模式实现
--excludei <pattern> 和exclude相似，不区分大小写
-o, --outfile <file>打印事件到文件中，相当于标准正确输出
-s, --syslogOutput 发送错误到syslog相当于标准错误输出

11. --timefmt <fmt>时间格式，参考 man 3 strftime

%Y 年份信息，包含世纪信息
%y 年份信息，不包括世纪信息
%m 显示月份，范围 01-12
%d 每月的第几天，范围是 01-31
%H 小时信息，使用 24小时制，范围 00-23
%M 分钟，范围 00-59

12.--format <fmt> 格式定义

%T 输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息
%w事件出现时，监控文件或目录的名称信息
%f 事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空
%e 显示发生的事件信息，不同的事件默认用逗号分隔
%Xe显示发生的事件信息，不同的事件指定用X进行分隔

13.-e 选项指定的事件类型

create 文件或目录创建
delete 文件或目录被删除
modify 文件或目录内容被写入
attrib 文件或目录属性改变
close_write 文件或目录关闭，在写入模式打开之后关闭的
close_nowrite 文件或目录关闭，在只读模式打开之后关闭的
close 文件或目录关闭，不管读或是写模式
open 文件或目录被打开
moved_to 文件或目录被移动到监控的目录中
moved_from 文件或目录从监控的目录中被移动
move 文件或目录不管移动到或是移出监控目录都触发事件
access 文件或目录内容被读取
delete_self 文件或目录被删除，目录本身被删除
unmount 取消挂载