rsync远程同步与inotify监控

Posted 2021-09-06 遙遙背影暖暖流星

rsync远程同步

• 一、关于rsync——一款快速增量备份工具
• • 1、配置rsync源的基本思路
  • 2、 应用示例
  • 3、 配置文件rsyncd.conf
  • 4、rsync账号文件
  • 5、启动rsync服务
  • 6、rsync 常用选项
• 二、实验
• • 1、安装rsync
  • 2、修改配置文件
  • 3、修改用户文件
  • 4、开启服务
  • 5、创建文件
  • 6、在另一台机子使用rsync进行远程操作
  • 7、rsync的用法
  • 8、配置源
  • 9、测试-delete模式
  • 10、设置免交互
  • 11、设置周期任务
  • 12、rsync实时同步
  • 1 周期性计划任务的不足之处：
  • 2 实时同步的优点：
  • 3 实时同步需要在配置文件中，只读设为no
  • 二、inotify
  • 1、查看监控文件的大小
  • 2、 修改inotify内核参数
  • 3、client安装 inotify-tools
  • 4、利用脚本触发同步
  • 5、添加权限
  • 6、创建测试文件

一、关于rsync——一款快速增量备份工具

remote sync ，远程同步，它是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树
支持本地复制，或者与其他ssh、rsync主机同步
官方网站：http://rsync.samba.org
支持增量备份、保持连接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用

1、配置rsync源的基本思路

设置rsync.conf配置文件>建立独立账户>启动rsync-daemon模式

2、 应用示例

用户gsybk，允许下行同步
操作的目录为/var/www/html

3、 配置文件rsyncd.conf

需要手动建立，语法类似samba配置
认证配置auth users、secrets file ，不加则默认为匿名

4、rsync账号文件

采用“用户名：密码”的格式记录，每行一个用户记录
独立的账号数据，不依赖系统账号

5、启动rsync服务

通过–daemon独自提供服务
执行 kill $(cat /var/run/rsyncd.pid)关闭rsync服务

6、rsync 常用选项

-a：归档模式，递归并保留对象属性，等同于 -rlptgoD
-v：显示同步过程的详细（verbose）信息
-z：在传输文件时进行压缩（compress）
-H：保留硬连接文件
-A：保留ACL属性信息
–delete：删除目标位置有而原始位置没有的文件
–checksum：根据对象的校验和来决定是否跳过文件

二、实验

服务端IP： 192.168.100.8

客户端IP： 192.168.100.7

1、安装rsync

[root@localhost ~]# hostnamectl set-hostname rsyncd
[root@localhost ~]# su
[root@rsyncd ~]# systemctl stop firewalld
[root@rsyncd ~]# systemctl disable firewalld
[root@rsyncd ~]# setenforce 0
[root@rsyncd ~]# yum install -y httpd
[root@rsyncd ~]# yum -y install rsync

2、修改配置文件

vim /etc/rsyncd.conf
删除输入输入一下内容

 uid = nobody
 gid = nobody
 use chroot = yes
 address = 192.168.100.8
 port 873
 log file = /var/log/rsyncd.log
 pid file = /var/run/rsyncd.pid
 hosts allow = 192.168.100.0/24
[wwwroot]
 path = /var/www/html
 comment = Document Root of www.lvlq.com
 read only = yes
 dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
 auth users = lvlq
 secrets file = /etc/rsyncd_users.db

脚本解释

uid = nobody
gid = nobody
use chroot = yes ####禁锢在源目录
address = 192.168.100.8 ####监听地址
port 873 ####监听端口号
log file = /var/log/rsyncd.log ####日志文件位置
pid file = /var/run/rsyncd.pid ####存放进程ID的文件位置
hosts allow = 192.168.100.0/24 ####允许访问的客户机地址
[wwwroot] ####共享模块名称
path = /var/www/html ####源目录的实际路径
comment = Document Root of www.lvlq.com
read only =yes #####是否只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z ####同步时不再压缩的文件类型
auth users =lvlq #####授权账户
secrets file = /etc/rsyncd_users.db ####存放账户信息的数据文件

3、修改用户文件

vim etc/rsyncd_users.db

lvlq:123123

chmod 600 /etc/rsyncd_users.db #赋予权限

4、开启服务

通过–daemon独自提供服务

如果要停止这个服务 kill $(cat /var/run/rsyncd.pid)

[root@rsyncd ~]# rsync --daemon
[root@rsyncd ~]# netstat -anpt |grep rsync
tcp        0      0 192.168.100.8:873       0.0.0.0:*               LISTEN      77400/rsync

5、创建文件

在配置文件规定的源目录/var/www/html/下，创建文件

[root@rsyncd ~]#  cd /var/www/html/
[root@rsyncd html]# ls
[root@rsyncd html]# echo "this is goodgoodstudy" > ggd.html
[root@rsyncd html]# echo "happy day" > ggd1.html
[root@rsyncd html]# ls
ggd1.html  ggd.html

6、在另一台机子使用rsync进行远程操作

[root@rsyncd html]# hostnamectl set-hostname client
[root@rsyncd html]# su
[root@client html]# yum install -y rsync

7、rsync的用法

可以作为本地复制命令使用

rsync [选项] 原始位置 目标位置

###常用选项###
-a：归档模式，递归并保留对象属性，等同于 -rlptgoD
-v：显示同步过程的详细（verbose）信息
-z：在传输文件时进行压缩（compress）
-H：保留硬连接文件
-A：保留ACL属性信息
–delete：删除目标位置有而原始位置没有的文件
–checksum：根据对象的校验和来决定是否跳过文件

[root@client html]# cd /opt/
[root@client opt]# ls
 rh
[root@client opt]#
[root@client opt]#
[root@client opt]#
[root@client opt]# rsync /etc/passwd /opt/
[root@client opt]# ls
 passwd                     rh

8、配置源

格式1：rsync [选项] 用户名@主机地址::共享模块名 目标路径
格式2： rsync [选项] rsync://用户名@主机地址/共享模块名 目标路径
在客户端上

[root@client ~]#  rsync -avz lvlq@192.168.100.8::wwwroot /opt
Password:    #密码是之前设置的123123
receiving incremental file list
./
ggd.html
ggd1.html

sent 65 bytes  received 204 bytes  59.78 bytes/sec
total size is 32  speedup is 0.12
[root@client opt]# ls
ggd1.html  ggd.html  nginx-1.12.2  nginx-1.12.2.tar.gz  rh
[root@client opt]#

9、测试-delete模式

可以发现，原先存在的fstab文件被删除掉了

[root@client opt]# rm -rf nginx-1.12.2.tar.gz  rh
[root@client opt]# ls
ggd1.html  ggd.html  nginx-1.12.2
[root@kehuduan opt]# rsync -avzH --delete lvlq@192.168.100.8::wwwroot /opt
Password: 
receiving incremental file list
deleting fstab
./
gsy.html
gsy1.html
sent 69 bytes  received 213 bytes  112.80 bytes/sec
total size is 37  speedup is 0.13
[root@client opt]# ls
ggd1.html  ggd.html  nginx-1.12.2

10、设置免交互

rsync的免交互处理
设置好一个文件，里面输入对应的密码
在输入命令时添加–password-file=密码文件路径

[root@client opt]# vim mima
123123
[root@client opt]# chmod  600 mima
[root@client opt]# rsync -avzH --password-file=/opt/mima lvlq@192.168.100.8::wwwroot /opt
receiving incremental file list
./

sent 27 bytes  received 110 bytes  274.00 bytes/sec
total size is 32  speedup is 0.23

11、设置周期任务

mkdir /webbak
vim /opt/rysnccrond.sh

#!/bim/bash
rsync -avz --delete --password-file=/opt/mima lvlq@192.168.100.8::wwwroot /webbak

每天晚上10点半对服务器网站目录更新一次

30 22 * * * 
soure /opt/rysnccrond.sh

12、rsync实时同步

1 周期性计划任务的不足之处：

执行备份的时间固定，延迟明显、实时性差
当同步源长期不变化时，密集的定期任务是不必要的

2 实时同步的优点：

一旦同步源出现变化，立即启动备份
只要同步源无变化，则不执行备份

3 实时同步需要在配置文件中，只读设为no

[root@rsyncd ~]# vi /etc/rsyncd.conf
read only = no 

二、inotify

从版本2.6.13开始提供
可以监控文件系统的变动情况，并作出通知响应
辅助软件：inotify-tools

1、查看监控文件的大小

在客户端上

[root@client opt]# cat /proc/sys/fs/inotify/max_queued_events
16384   #/监控队列大小
[root@client opt]# cat /proc/sys/fs/inotify/max_user_instances
128    #/最多监控实例数
[root@client opt]# cat /proc/sys/fs/inotify/max_user_watches
8192   #每个实例最多监控文件数

2、 修改inotify内核参数

[root@client opt]# vim /etc/sysctl.conf
#追加
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
[root@client opt]# sysctl -p    #生效
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

3、client安装 inotify-tools

上传inotify-tools-3.14.tar.gz到/opt

[root@client opt]# yum -y install gcc gcc-c++
[root@client opt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt
[root@client opt]# cd /opt/inotify-tools-3.14/
[root@client inotify-tools-3.14]# ./configure
[root@client inotify-tools-3.14]# make && make install

inotifywait：用于持续监控，实时输出结果
inotifywatch：用于短期监控，任务完成后再出结果

 inotifywait -mrq -e modify,create,move,delete /webbak/

这时再开一个client的终端，实行创建、移动文件

[root@client webbak]# mkdir file
[root@client webbak]# touch hao{1..10}

[root@client webbak]# mv hao1 /
[root@client webbak]#
[root@client webbak]# ls
1     ggd1.html  hao10  hao3  hao5  hao7  hao9
file  ggd.html   hao2   hao4  hao6  hao8

4、利用脚本触发同步

[root@client opt]# vim inotify.sh

#!/bin/bash
#这是一个监控到共享目录下文件被删除时，自动同步的源目录的脚本
dd=/webbak
#注意，写/webbak会将这个目录也同步上去，/webbak/则只会同步目录内的文件
user=lvlq
passfile=/opt/mima
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib $dd"
RSYNC_CMD="rsync -azH --delete --password-file=$passfile $dd $user@192.168.100.8::wwwroot"

$NOTIFY_CMD | while read DIRECTORY EVENT FILE
##持续监控过程中一旦读到了目录指定事件的发生。执行do...done里面的操作。
do

    if [ $(pgrep rsync | wc -l) -le 0 ] ; then

        $RSYNC_CMD

#       echo "${FILE} was rsynced" >>/opt/inotify_rsync.log


    fi

done

bash inotify.sh&
#持续后台进行

5、添加权限

[root@rsync html]# chmod 777 /var/www/html/

[root@client opt]#  chmod 777 /webbak

6、创建测试文件