NFS +inotify+rsync 实现数据的远程挂载与实时增量备份

Posted justin0717

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了NFS +inotify+rsync 实现数据的远程挂载与实时增量备份相关的知识，希望对你有一定的参考价值。

NFS 网络文件系统

  • 功能： 用户可以像访问自己的本地文件系统一样使用网络中的远端系统上的文件
  • 原理： 用户进程——>RPC服务（portman）——>tcp/ip协议栈——>远端主机RPC服务 后 ——>远端NFS服务——>远端主机本地磁盘数据——>NFS服务——>tcp/ip协议栈——>本地数据
  • 优点： 易于实现前段服务器代理分流的时候处理sission以及数据查找时找不到数据等问题，且同时起到了就算任何一个web服务器宕机都不影响数据的访问

  • 缺点： 单点失败 所有数据都在同一个物理主机上，一旦物理主机宕机会导致整个项目存放的数据丢失无法访问，解决办法：做基于inotify+rsync数据实时增量备份处理这个问题

    NFS 搭建 ( 基于启动文件/etc/fatab 或 自动挂载autofs)

  • 包：nfs-utils,rpcbind,tcp_wrappers
  • linux内核需要支持nfs.ko
  • 日志：/var/lib/nfs/
  • 配置文件： /etc/exports ,/etc/exports.d/*.exports

  • 服务开启：systemctl start nfs-server

    文件格式：

  • 共享文件主机：192.168.47.117


host:主机1(opt1,opt2) 主机2(opt1,opt2)

单个主机：    # ipv4，ipv6，FQDN
IP networks：# 两种掩码格式均支持 172.18.0.0/255.255.0.0 172.18.0.0/16
wildcards：  # 主机名通配，例如*.xiehegang.online，IP不可以
netgroups：  # NIS域的主机组，@group_name 
anonymous：  # 表示使用*通配所有客户端

#-----------------------------------------------------------------------------------------------------------------------------
option：(ro,sync,root_squash,no_all_squash)


ro,rw             # 只读和读写
async             # 异步，数据变化后不立即写磁盘，性能高
sync              # （1.0.0后为默认）同步，数据在请求时立即写入共享存储磁盘
root_squash       # （默认）远程root映射为nfsnobody,UID为65534，CentOS8 为nobody,早期版本是4294967294(nfsnobody)
no_root_squash    # 远程root映射成root用户
all_squash        # 所有远程用户(包括root)都变成nfsnobody,CentOS8 为nobody
no_all_squash     # （默认）保留共享文件的UID和GID
anonuid和anongid  # 指明匿名用户映射为特定用户UID和组GID，而非nfsnobody,可配合all_squash使用

#-----------------------------------------------------------------------------------------------------------------------------

# 例
/data/app1/  192.168.47.106(ro,sync,no_all_squash)
/data/app2   192.168.47.106(rw,no_rootsquash,all_squash)
  • 挂载主机 192.168.47.106

# 查看网络共享情况
showmount -e 192.168.47.117

# 创建挂载点并挂载
mkdir /data/webdata/ -pv;
mount 192.168.47.117:/data/app1  /data/webdata 

# 完成文件的挂载，创建文件，在另一个主机上可以看到， 但是App2挂载点就无法创建文件，因为47.117的配置文件设置了ro
#------------------------------------------------------------------------------------------------------------------------------
# 在/etc/fatab 下实现自动挂载，防止断电导致挂载丢失,**追加**以下内容

192.168.47.117:/data/app1         /data/webdata             nfs     _netdev        0 0

#------------------------------------------------------------------------------------------------------------------------------
# 如果有需求也可像访问ls/msic/cd 访问光盘一样设置实时挂载，即：访问即挂载（aotofs）
# 安装autofs
yum install -y autofs

# 编辑配置文件 vi /etc/auto.misc 追加内容
nfs             -fstype=nfs             192.168.47.117:/data/app1

# 开启autofs服务
systemctl start autofs

# 访问目录：
cd /msic/app1

基于inotify+rsync 实现增量备份

  • 备份NFS主机：192.168.47.129
  • linux内核版本： 大于2.6.13

# 修改内核参数：
vim /etc/sysctl.conf
fs.inotify.max_queued_events=66666
fs.inotify.max_user_watches=100000

# 重新应用 
sysctl -p

# 查看修改情况
cat /proc/sys/fs/inotify/*

inotify-tools 工具

  • inotify-tools安装工具：yum install inotify-tools （yum -y install epel-release epel源没安装的话）
  • inotifywait 命令选项：

-m, --monitor       # 始终保持事件监听
-d, --daemon        # 以守护进程方式执行，和-m相似，配合-o使用
-r, --recursive     # 递归监控目录数据信息变化
-q, --quiet         # 输出少量事件信息
--exclude           # 指定排除文件或目录，使用扩展的正则表达式匹配的模式实现
--excludei          # 和exclude相似，不区分大小写
-o, --outfile       # 打印事件到文件中，相当于标准正确输出，注意：使用绝对路径
-s, --syslogOutput  # 发送错误到syslog相当于标准错误输出
--timefmt           # 指定时间输出格式
--format            # 指定的输出格式；即实际监控输出内容
-e                  # 指定监听指定的事件，如果省略，表示所有事件都进行监听

# --timefmt 格式 --------------------------------------------------------------------------------------------------------------------

%Y # 年份信息，包含世纪信息
%y # 年份信息，不包括世纪信息
%m # 显示月份，范围 01-12
%d # 每月的第几天，范围是 01-31
%H # 小时信息，使用 24小时制，范围 00-23
%M # 分钟，范围 00-59

例：--timefmt "%Y-%m-%d %H:%M"

# --format 格式 --------------------------------------------------------------------------------------------------------------------
%T  # 输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息
%w  # 事件出现时，监控文件或目录的名称信息
%f  # 事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空
%e  # 显示发生的事件信息，不同的事件默认用逗号分隔
%Xe # 显示发生的事件信息，不同的事件指定用X进行分隔

例：--format "%T %w%f event: %;e"
# -e 格式 --------------------------------------------------------------------------------------------------------------------
create          # 文件或目录创建
delete          # 文件或目录被删除
modify          # 文件或目录内容被写入
attrib          # 文件或目录属性改变
close_write     # 文件或目录关闭，在写入模式打开之后关闭的
close_nowrite   # 文件或目录关闭，在只读模式打开之后关闭的
close           # 文件或目录关闭，不管读或是写模式
open            # 文件或目录被打开
moved_to        # 文件或目录被移动到监控的目录中
moved_from      # 文件或目录从监控的目录中被移动
move            # 文件或目录不管移动到或是移出监控目录都触发事件
access          # 文件或目录内容被读取
delete_self     # 文件或目录被删除，目录本身被删除
unmount         # 取消挂载

例： -e create,delete,moved_to,close_write, attrib

inotify 完整使用范例

# 监控一次性事件
inotifywait /data
# 持续前台监控
inotifywait -mrq /data
# 持续后台监控，并记录日志
inotifywait -o /root/inotify.log -drq /data --timefmt "%Y-%m-%d %H:%M" --format
"%T %w%f event: %e"
# 持续前台监控特定事件
inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f event: %;e" -e
create,delete,moved_to,close_write,attrib

rsync 实现增量备份

  • 包 rsync
  • 服务文件：/usr/lib/systemd/system/rsyncd.service
  • 配置文件：/etc/rsyncd.conf
  • 端口：873/tcp
  • 格式：rsync [OPTION...] SRC... [DEST]

rsync有三种工作方式：
1. 本地文件系统上实现同步。命令行语法格式为上述"Local"段的格式。
2. 本地主机使用远程shell和远程主机通信。命令行语法格式为上述"Access via remote shell"段的格
式。
3. 本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述"Access via
rsync daemon"段的格式。

本例使用独立方式运行rsync 实现同步

  • 以独立服务方式运行 rsync (192.168.47.117)

# 安装
 yum -y install rsync

#创建rsync服务器的配置文件
vi /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 0
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
reverse lookup = no
hosts allow = 192.168.47.0/24
[backup]
path = /backup/
comment = backup
read only = no
auth users = rsyncuser
secrets file = /etc/rsync.pass

# 服务器端准备目录

cd /; mkdir /backup

# 服务器端生成验证文件 
echo "rsyncuser:justin" > /etc/rsync.pass
chmod 600 /etc/rsync.pass

#启动服务
/usr/bin/rsync --daemon ,rsync --daemon
  • 备份服务器 192.168.47.129

#客户端配置密码文件
echo "justin" > /etc/rsync.pass
chmod 600 /etc/rsync.pass 

#客户端测试同步数据
rsync -avz --delete --password-file=/etc/rsync.pass /data/app1   rsyncuser@192.168.47.117::/backup

创建脚本文件，实现实时拉取，基于inotify + rsync


vim  /etc/profile.d/bf.sh 
#!/bin/bash
SRC='/data/app'
DEST='rsyncuser@192.168.47.117::backup'
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e
create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR
FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST && echo
"At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >>
/var/log/changelist.log
done

. /etc/profile.d/bf.sh

最终效果

服务器 47.106 的/data/webdata 的文件实际位置为 47.117 的/data/app1，
服务器 47.129 备份 47.117 /data/app1 的数据到本地的/backup文件夹下

当然这是本人的实验，可能会有过程中错误，如有发现欢迎评论，谢谢~

以上是关于NFS +inotify+rsync 实现数据的远程挂载与实时增量备份的主要内容，如果未能解决你的问题，请参考以下文章

CentOS6.6 rsync+inotify实现数据时时备份

rsync+inotify实时同步

Rsync+inotify实现文件实时同步

rsync+inotify实现数据同步

通过rsync+inotify实现数据的实时备份

inotify和rsync实现数据实时同步