rsync下行同步rsync+inotify实时同步(同步如饮水一样简单)

Posted 荣少吃的少

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync下行同步rsync+inotify实时同步(同步如饮水一样简单)相关的知识,希望对你有一定的参考价值。

一、rsync

1、rsync概述

在这里插入图片描述

2、rsync同步源

在这里插入图片描述

3、rsync相关命令

在这里插入图片描述

二、配置rsync

1、基本思路

在这里插入图片描述

2、配置源的两种表达方式

在这里插入图片描述

3、免交互格式

在这里插入图片描述

三、inotify

Inotify 是一个 Linux内核的特性,可以监控文件系统的变动情况,并做出通知响应,辅助软件:inotify-tools
在这里插入图片描述

1、调整inotify内核参数(优化)

/etc/sysctl.conf(内核参数配置文件),需要配置
max_queue_events :监控事件队列大小
max_user_instances :最多监控实例
max_user_watches :每个实例最多监控文件数
配置的监控数量应该大于监控目标的总文件数
例如:
vim /etc/sysctl.conf
max_queue_events = 16384
max_user_instances = 1024
max_user_watches = 1048576

2、使用inotify-tools辅助工具

inotifywait:用于持续监控,实时输出结果
可监控modify(修改)、create(创建)、move(移动)、delete(删除)、attrib(属性更改)等各种事件,一有变动立即输出结果。
inotifywatch:用于短期监控,任务完成后再输出结果
可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况。
例:
inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录

#---------参数解释------------
-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
attrib  属性更改
move	移动
deletc	删除

3、编写同步脚本

编写思路:
(1)先设置两个变量:监控和执行备份
(2)使用while 、read持续获取监控结果
(3)根据结果判断,执行不同的操作

vim /opt/inotify_rsynx.sh
#!/bin/bash
#定义两个变量:监控文件,执行备份
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete 需要监控的目录或文件"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
 
 #while read获取监控结果
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do 
    #如果rsync没有运行,执行rsync进行备份操作
    if [ $(pgrep rsync | wc -l) -eq 0 ] ; then
        $RSYNC_CMD
	fi
done

四、配置rsync下行同步

下行同步:将master服务器数据备份到slave服务器
链接: inotify软件包
提取码: 8yax

环境配置
主机 IP地址 安装包
Master 192.168.221.20 rsync
Slave 192.168.221.30 rsync / inotify-tools-3.14.tar.gz

1、配置Master主机(192.168.221.20)

(1)关防火墙、安装相应的软件

systemctl stop firewalld.service 
setenforce 0
#检查是否安装,一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync

在这里插入图片描述

(2)建立/etc/rsyncd.conf 配置文件
如采用匿名的方式,只要将下面配置中的“auth users”和“secrets file”配置项去掉即可。
vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = yes
address = 192.168.221.20
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.221.0/24
[wwwroot]
path = /var/www/html
comment = Document Root of www.srs.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper srs
secrets file = /etc/rsyncd_users.db
#---------配置解释----------------------------------------------
uid = root					     
gid = root					    
use chroot = yes					#禁锢在源目录
address = 192.168.221.20			#监听地址,监听本机地址
port 873						    #监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log		#日志文件位置
pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
hosts allow = 192.168.221.0/24		#允许同步的客户机网段
[wwwroot]					        #共享模块名称
path = /var/www/html				#源目录的实际路径(同步的目录)
comment = Document Root of www.srs.com
read only = yes					    #是否为只读
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z  #同步时不再压缩的文件类型
auth users = backuper srs			#授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db			      #存放账户信息的数据文件

在这里插入图片描述

(3)为备份账户创建数据文件
无须建立同名系统用户
vim /etc/rsyncd_users.db
srs:123456

chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

(4)保证所有用户对源目录/var/www/html(需要备份的文件目录)都有读取权限
yum -y install httpd
chmod +r /var/www/html
ls -ld /var/www/html

启动 rsync 服务,以独立监听服务的方式(守护进程)运行
rsync --daemon
netstat -natp | grep rsync

在这里插入图片描述

2、配置Slave主机(192.168.221.30)

systemctl stop firewalld.service
setenforce 0

yum -y install rsync

cd /opt
mkdir srs
chmod 777 srs

vim /etc/server.pass
123456

chmod 600 /etc/server.pass

在这里插入图片描述

3、验证同步

Master(192.168.221.20)
cd /var/www/html/
vim 1.html

Slave(192.168.221.30)
rsync -az --delete --password-file=/etc/server.pass srs@192.168.221.20::wwwroot /opt/srs
ls srs

#设置周期性任务(企业中不可能手动执行,一般都要使用周期性任务)
crontab -e
0 2 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass lisi@192.168.163.10::wwwroot /opt/abc
systemctl restart crond
systemctl enable crond

在这里插入图片描述
在这里插入图片描述

五、rsync+inotify实时同步

1、配置Master主机(192.168.221.20)

修改rsync源服务器配置文件
vim /etc/rsyncd.conf
#关闭只读,上行同步需要可以写
read only = no

#重启服务
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
rsync --daemon
netstat -natp | grep rsync
 
chmod 777 /var/www/html

在这里插入图片描述
在这里插入图片描述

2、配置Slave主机(192.168.221.30)

(1)调整 inotify 内核参数

max_queue_events(监控事件队列,默认值为16384)
max_user_instances(最多监控实例数,默认值为128)
max_user_watches(每个实例最多监控文件数,默认值为8192)
当要监控的目录、文件数量较多或者变化较频繁时,建议加大这三个参数的值。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 17000
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

在这里插入图片描述
在这里插入图片描述

(2)安装 inotify-tools

yum -y install gcc gcc-c++ make

#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt

cd /opt/inotify-tools-3.14/
./configure && make && make install

在这里插入图片描述

(3)编写触发式同步脚本

vim /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/srs/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/srs/ srs@192.168.221.20::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done

cd /opt/
chmod +x inotify_rsync.sh
. /opt/inotify_rsync.sh &

#加入开机自动执行
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify_rsync.sh' >> /etc/rc.d/rc.local

在这里插入图片描述
在这里插入图片描述

3、验证实时同步

Slave(192.168.221.30)
cd /opt/srs
touch 1.html
ls
rm -rf 1.html
ls

Master(192.168.221.20)
cd /var/www/html
ls

在这里插入图片描述
)

一、rsync

1、rsync概述

在这里插入图片描述

2、rsync同步源

在这里插入图片描述

3、rsync相关命令

在这里插入图片描述

二、配置rsync

1、基本思路

在这里插入图片描述

2、配置源的两种表达方式

在这里插入图片描述

3、免交互格式

在这里插入图片描述

三、inotify

Inotify 是一个 Linux内核的特性,可以监控文件系统的变动情况,并做出通知响应,辅助软件:inotify-tools
在这里插入图片描述

1、调整inotify内核参数(优化)

/etc/sysctl.conf(内核参数配置文件),需要配置
max_queue_events :监控事件队列大小
max_user_instances :最多监控实例
max_user_watches :每个实例最多监控文件数
配置的监控数量应该大于监控目标的总文件数
例如:
vim /etc/sysctl.conf
max_queue_events = 16384
max_user_instances = 1024
max_user_watches = 1048576

2、使用inotify-tools辅助工具

inotifywait:用于持续监控,实时输出结果
可监控modify(修改)、create(创建)、move(移动)、delete(删除)、attrib(属性更改)等各种事件,一有变动立即输出结果。
inotifywatch:用于短期监控,任务完成后再输出结果
可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况。
例:
inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录

#---------参数解释------------
-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
attrib  属性更改
move	移动
deletc	删除

3、编写同步脚本

编写思路:
(1)先设置两个变量:监控和执行备份
(2)使用while 、read持续获取监控结果
(3)根据结果判断,执行不同的操作

vim /opt/inotify_rsynx.sh
#!/bin/bash
#定义两个变量:监控文件,执行备份
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete 需要监控的目录或文件"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
 
 #while read获取监控结果
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do 
    #如果rsync没有运行,执行rsync进行备份操作
    if [ $(pgrep rsync | wc -l) -eq 0 ] ; then
        $RSYNC_CMD
	fi
done

四、配置rsync下行同步

下行同步:将master服务器数据备份到slave服务器
链接: inotify软件包
提取码: 8yax

环境配置
主机 IP地址 安装包
Master 192.168.221.20 rsync
Slave 192.168.221.30 rsync / inotify-tools-3.14.tar.gz

1、配置Master主机(192.168.221.20)

(1)关防火墙、安装相应的软件

systemctl stop firewalld.service 
setenforce 0
#检查是否安装,一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync

在这里插入图片描述

(2)建立/etc/rsyncd.conf 配置文件
如采用匿名的方式,只要将下面配置中的“auth users”和“secrets file”配置项去掉即可。
vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = yes
address = 192.168.221.20
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.221.0/24
[wwwroot]
path = /var/www/html
comment = Document Root of www.srs.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper srs
secrets file = /etc/rsyncd_users.db
#---------配置解释----------------------------------------------
uid = root					     
gid = root					    
use chroot = yes					#禁锢在源目录
address = 192.168.221.20			#监听地址,监听本机地址
port 873						    #监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log		#日志文件位置
pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
hosts allow = 192.168.221.0/24		#允许同步的客户机网段
[wwwroot]					        #共享模块名称
path = /var/www/html				#源目录的实际路径(同步的目录)
comment = Document Root of www.srs.com
read only = yes					    #是否为只读
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z  #同步时不再压缩的文件类型
auth users = backuper srs			#授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db			      #存放账户信息的数据文件

在这里插入图片描述

(3)为备份账户创建数据文件
无须建立同名系统用户
vim /etc/rsyncd_users.db
srs:123456

chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

(4)保证所有用户对源目录/var/www/html(需要备份的文件目录)都有读取权限
yum -y install httpd
chmod +r /var/www/html
ls -ld /var/www/html

启动 rsync 服务,以独立监听服务的方式(守护进程)运行
rsync --daemon
netstat -natp | grep rsync

在这里插入图片描述

2、配置Slave主机(192.168.221.30)

systemctl stop firewalld.service
setenforce 0

yum -y install rsync

cd /opt
mkdir srs
chmod 777 srs

vim /etc/server.pass
123456

chmod 600 /etc/server.pass

在这里插入图片描述

3、验证同步

Master(192.168.221.20)
cd /var/www/html/
vim 1.html

Slave(192.168.221.30)
rsync -az --delete --password-file=/etc/server.pass srs@192.168.221.20::wwwroot /opt/srs
ls srs

#设置周期性任务(企业中不可能手动执行,一般都要使用周期性任务)
crontab -e
0 2 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass lisi@192.168.163.10::wwwroot /opt/abc
systemctl restart crond
systemctl enable crond

在这里插入图片描述
在这里插入图片描述

五、rsync+inotify实时同步

1、配置Master主机(192.168.221.20)

修改rsync源服务器配置文件
vim /etc/rsyncd.conf
#关闭只读,上行同步需要可以写
read only = no

#重启服务
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
rsync --daemon
netstat -natp | grep rsync
 
chmod 777 /var/www/html

在这里插入图片描述
在这里插入图片描述

2、配置Slave主机(192.168.221.30)

(1)调整 inotify 内核参数

max_queue_events(监控事件队列,默认值为16384)
max_user_instances(最多监控实例数,默认值为128)
max_user_watches(每个实例最多监控文件数,默认值为8192)
当要监控的目录、文件数量较多或者变化较频繁时,建议加大这三个参数的值。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 17000
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

在这里插入图片描述
在这里插入图片描述

(2)安装 inotify-tools

yum -y install gcc gcc-c++ make

#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt

cd /opt/inotify-tools-3.14/
./configure && make && make install

在这里插入图片描述

(3)编写触发式同步脚本

vim /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/srs/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/srs/ srs@192.168.221.20::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done

cd /opt/
chmod +x inotify_rsync.sh
. /opt/inotify_rsync.sh &

#加入开机自动执行
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify_rsync.sh' >> /etc/rc.d/rc.local

在这里插入图片描述
在这里插入图片描述

3、验证实时同步

Slave(192.168.221.30)
cd /opt/srs
touch 1.html
ls
rm -rf 1.html
ls

Master(192.168.221.20)
cd /var/www/html
ls

在这里插入图片描述

以上是关于rsync下行同步rsync+inotify实时同步(同步如饮水一样简单)的主要内容,如果未能解决你的问题,请参考以下文章

rsync下行同步+inotify实时同步部署

rsync远程同步:下行同步上行同步+inotify实时同步

rsync(下行同步)与inotify(实时同步)

Rsync远程同步,实现下行 ,上行异地备份。配置rsync+inotify实时备份。

rsync + inotify 实时同步附送源码包

rsync+inotify实现上行实时同步