Rsync+inotify实现文件实时同步
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Rsync+inotify实现文件实时同步相关的知识，希望对你有一定的参考价值。
数据备份、文件备份是运维、DBA等岗位最熟悉不过的话题，这里不介绍数据库的备份，简单介绍一下文件同步工具，这样的工具有很多，Windows环境下有Goodsync、FreeFileSync等，Linux下rsync、unison等，常用的实时同步，是几种工具的组合，经过组合的工具达到文件实时同步的效果。
一、常用实时同步方案
1、NFS网络文件系统
该方案是分布式架构中，解决不同节点对同一资源访问的问题，搭建NFS服务器，将其挂载在不同的节点，每个节点将公用的数据存储在NFS服务器上，实现文件的同步。
2、rsync+inotify
该方案是实用量最大，资料最丰富的文件同步方案，rsync主要有基于系统用户和虚拟用户的两种方式，基于系统用户的方式和scp命令功能特性差不多，简单实用，可操作性强。inotify主要用来监控文件的变换，通过两者组合，编写一些简单的脚本，就可以实现文件和目录的实时同步。也是本文重点介绍的内容。
3、rsync+sersync
sersync是基于inotify开发的工具，类似于inotify-tools工具，但是sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录。
rsync+sersync组合的特点
a、sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
b、rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。
rsync+sersync和rsync+inotify的选型
1、同步的目录数据量不大时，建议使用rsync+inotify
2、同步的目录数据量很大时（几百G甚至1T以上）文件很多时，建议使用rsync+sersync
4、unison+inotify
Unison是一款跨平台的文件同步工具，不仅支持本地对本地同步，也支持通过SSH、RSH和Socket等网络协议进行同步。更棒的是，Unison支持双向同步操作，你既可以从A同步到B，也可以从B同步到A，这些都不需要额外的设定。
官方文档：
http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.48.4-manual.html
二、基本环境
操作系统：CentOS 6.9
rsync版本: rsync version 3.0.6 官网：https://rsync.samba.org/
操作系统内核：2.6.32-696.6.3.el6.x86_64
inotify版本：inotify-tools-3.14 下载地址如下：
http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
三、rsync的介绍
1、rsyn的特性
可以镜像保存整个目录树和文件系统。
可以很容易做到保持原来文件的权限、时间、软硬链接等等。
无须特殊权限即可安装。
快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。
压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
支持匿名传输，以方便进行网站镜象。
选择性保持：符号连接，硬链接，文件属性，权限，时间等
2、rsync与scp的区别
scp无法满足大量数据备份，类似windows的复制
rsync支持变复制 ，边统计，边比较
3、rsync 数据同步方式
推push：一台主机负责吧数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况
拉pull： 所有主机定时去找一主机拉数据，可能就会导致数据缓慢
推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去
拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来
两种方案，rsync都有对应的命令来实现
4、Xinetd管理Rsync工作原理
5、rsync 命令
rsync命令和scp命令很相似 常用参数： -a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数，存档，递归，保持属性等 -r, --recursive 复制所有下面的资料，递归处理 -p, --perms 保留档案权限 ，文件原有属性 -t, --times 保留时间点，文件原有时间 -g, --group 保留原有属组 -o, --owner 保留档案所有者(root only) -D, --devices 保留device资讯(root only) -l, --links 复制所有的连接 ，拷贝连接文件 -z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩. –azP -H, --hard-links 保留硬链接文件 -A, --acls 保留ACL属性文件，需要配合--perms -P,-P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度 --version， 输出rsync版本 -v , --verbose 复杂的输出信息 -u, --update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件 --port=PORT， 定义rsyncd(daemon)要运行的port(预设为tcp 873) --delete， 删除那些目标位置有的文件而备份源没有的文件 --password-file=FILE ，从 FILE 中得到密码 --bwlimit=KBPS， 限制 I/O 带宽 --filter “-filename”，需要过滤的文件 --exclude=filname，需要过滤的文件 --progress，显示备份过程 帮助文档 [[email protected] install]# rsync --help rsync version 3.0.6 protocol version 30 Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others. Web site: http://rsync.samba.org/ Capabilities: 64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints, socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace, append, ACLs, xattrs, iconv, symtimes rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you are welcome to redistribute it under certain conditions. See the GNU General Public Licence for details. rsync is a file transfer program capable of efficient remote update via a fast differencing algorithm. Usage: rsync [OPTION]... SRC [SRC]... DEST or rsync [OPTION]... SRC [SRC]... [[email protected]]HOST:DEST or rsync [OPTION]... SRC [SRC]... [[email protected]]HOST::DEST or rsync [OPTION]... SRC [SRC]... rsync://[[email protected]]HOST[:PORT]/DEST or rsync [OPTION]... [[email protected]]HOST:SRC [DEST] or rsync [OPTION]... [[email protected]]HOST::SRC [DEST] or rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST] The ‘:‘ usages connect via remote shell, while ‘::‘ & ‘rsync://‘ usages connect to an rsync daemon, and require SRC or DEST to start with a module name. Options -v, --verbose increase verbosity -q, --quiet suppress non-error messages --no-motd suppress daemon-mode MOTD (see manpage caveat) -c, --checksum skip based on checksum, not mod-time & size -a, --archive archive mode; equals -rlptgoD (no -H,-A,-X) --no-OPTION turn off an implied OPTION (e.g. --no-D) -r, --recursive recurse into directories -R, --relative use relative path names --no-implied-dirs don‘t send implied dirs with --relative -b, --backup make backups (see --suffix & --backup-dir) --backup-dir=DIR make backups into hierarchy based in DIR --suffix=SUFFIX set backup suffix (default ~ w/o --backup-dir) -u, --update skip files that are newer on the receiver --inplace update destination files in-place (SEE MAN PAGE) --append append data onto shorter files --append-verify like --append, but with old data in file checksum -d, --dirs transfer directories without recursing -l, --links copy symlinks as symlinks -L, --copy-links transform symlink into referent file/dir --copy-unsafe-links only "unsafe" symlinks are transformed --safe-links ignore symlinks that point outside the source tree -k, --copy-dirlinks transform symlink to a dir into referent dir -K, --keep-dirlinks treat symlinked dir on receiver as dir -H, --hard-links preserve hard links -p, --perms preserve permissions -E, --executability preserve the file‘s executability --chmod=CHMOD affect file and/or directory permissions -A, --acls preserve ACLs (implies --perms) -X, --xattrs preserve extended attributes -o, --owner preserve owner (super-user only) -g, --group preserve group --devices preserve device files (super-user only) --copy-devices copy device contents as regular file --specials preserve special files -D same as --devices --specials -t, --times preserve modification times -O, --omit-dir-times omit directories from --times --super receiver attempts super-user activities --fake-super store/recover privileged attrs using xattrs -S, --sparse handle sparse files efficiently -n, --dry-run perform a trial run with no changes made -W, --whole-file copy files whole (without delta-xfer algorithm) -x, --one-file-system don‘t cross filesystem boundaries -B, --block-size=SIZE force a fixed checksum block-size -e, --rsh=COMMAND specify the remote shell to use --rsync-path=PROGRAM specify the rsync to run on the remote machine --existing skip creating new files on receiver --ignore-existing skip updating files that already exist on receiver --remove-source-files sender removes synchronized files (non-dirs) --del an alias for --delete-during --delete delete extraneous files from destination dirs --delete-before receiver deletes before transfer, not during --delete-during receiver deletes during transfer (default) --delete-delay find deletions during, delete after --delete-after receiver deletes after transfer, not during --delete-excluded also delete excluded files from destination dirs --ignore-errors delete even if there are I/O errors --force force deletion of directories even if not empty --max-delete=NUM don‘t delete more than NUM files --max-size=SIZE don‘t transfer any file larger than SIZE --min-size=SIZE don‘t transfer any file smaller than SIZE --partial keep partially transferred files --partial-dir=DIR put a partially transferred file into DIR --delay-updates put all updated files into place at transfer‘s end -m, --prune-empty-dirs prune empty directory chains from the file-list --numeric-ids don‘t map uid/gid values by user/group name --timeout=SECONDS set I/O timeout in seconds --contimeout=SECONDS set daemon connection timeout in seconds -I, --ignore-times don‘t skip files that match in size and mod-time --size-only skip files that match in size --modify-window=NUM compare mod-times with reduced accuracy -T, --temp-dir=DIR create temporary files in directory DIR -y, --fuzzy find similar file for basis if no dest file --compare-dest=DIR also compare destination files relative to DIR --copy-dest=DIR ... and include copies of unchanged files --link-dest=DIR hardlink to files in DIR when unchanged -z, --compress compress file data during the transfer --compress-level=NUM explicitly set compression level --skip-compress=LIST skip compressing files with a suffix in LIST -C, --cvs-exclude auto-ignore files the same way CVS does -f, --filter=RULE add a file-filtering RULE -F same as --filter=‘dir-merge /.rsync-filter‘ repeated: --filter=‘- .rsync-filter‘ --exclude=PATTERN exclude files matching PATTERN --exclude-from=FILE read exclude patterns from FILE --include=PATTERN don‘t exclude files matching PATTERN --include-from=FILE read include patterns from FILE --files-from=FILE read list of source-file names from FILE -0, --from0 all *-from/filter files are delimited by 0s -s, --protect-args no space-splitting; only wildcard special-chars --address=ADDRESS bind address for outgoing socket to daemon --port=PORT specify double-colon alternate port number --sockopts=OPTIONS specify custom TCP options --blocking-io use blocking I/O for the remote shell --stats give some file-transfer stats -8, --8-bit-output leave high-bit chars unescaped in output -h, --human-readable output numbers in a human-readable format --progress show progress during transfer -P same as --partial --progress -i, --itemize-changes output a change-summary for all updates --out-format=FORMAT output updates using the specified FORMAT --log-file=FILE log what we‘re doing to the specified FILE --log-file-format=FMT log updates using the specified FMT --password-file=FILE read daemon-access password from FILE --list-only list the files instead of copying them --bwlimit=KBPS limit I/O bandwidth; KBytes per second --write-batch=FILE write a batched update to FILE --only-write-batch=FILE like --write-batch but w/o updating destination --read-batch=FILE read a batched update from FILE --protocol=NUM force an older protocol version to be used --iconv=CONVERT_SPEC request charset conversion of filenames -4, --ipv4 prefer IPv4 -6, --ipv6 prefer IPv6 --version print version number (-h) --help show this help (-h works with no other options) Use "rsync --daemon --help" to see the daemon-mode command-line options. Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation. See http://rsync.samba.org/ for updates, bug reports, and answers
四、服务安装与配置
1、安装rsync
yum install -y rsync
2、基于系统用户的备份
基于系统用户的备份，不需要配置rsyncd服务，这时的rsync和scp非常的类似，测试规划如下：
| 主机序号 | 主机IP | 备份目录 | 安装软件 | 同步方式 |
| 1 | 192.168.223.128（数据源服务器） | /data/ | rsync | 主动方式 |
| 2 | 192.168.223.129（备份存储服务器） | /databack/rsyncback | 一 | 一 |
测试：
主机：192.168.223.128 推送模式 [[email protected] ~]# cd /data [[email protected] data]# l -bash: l: command not found [[email protected] data]# ls winner.txt [[email protected] data]# ls winner.txt [[email protected] data]# rsy rsync rsyslogd [[email protected] data]# rsync -azP /data/ [email protected]:/databack/rsyncback sending incremental file list ./ .pwd.lock 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=1/3) winner.txt 4588 100% 0.00kB/s 0:00:00 (xfer#2, to-check=0/3) sent 659 bytes received 53 bytes 284.80 bytes/sec total size is 4588 speedup is 6.44 [[email protected] data]# 主机：192.168.223.129 主机测试 [[email protected] ~]# cd /databack/rsyncback/ [[email protected] rsyncback]# ls winner.txt [[email protected] rsyncback]# 主动获取模式测试： 在192.168.223.128 主机上创建新文件 [[email protected] data]# touch {1,3,5,7,9,10}.txt [[email protected] data]# ls 10.txt 1.txt 3.txt 5.txt 7.txt 9.txt winner.txt [[email protected] data]# 主机：192.168.223.129 获取数据 [[email protected] rsyncback]# rsync -azP [email protected]:/data/ ./ receiving incremental file list ./ 1.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=6/9) 10.txt 0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=5/9) 3.txt 0 100% 0.00kB/s 0:00:00 (xfer#3, to-check=4/9) 5.txt 0 100% 0.00kB/s 0:00:00 (xfer#4, to-check=3/9) 7.txt 0 100% 0.00kB/s 0:00:00 (xfer#5, to-check=2/9) 9.txt 0 100% 0.00kB/s 0:00:00 (xfer#6, to-check=1/9) sent 128 bytes received 368 bytes 330.67 bytes/sec total size is 4588 speedup is 9.25
从命令的执行过程中可以看出这个命令和scp非常相似，在拷贝过程中没有输入密码是因为两个主机之间做了免密码登录，而数据传输过程中也是使用了SSH传输协议。关于SSH免密码登录请自行搜索资料。
2.1 基于系统用户的备份脚本
#!/bin/bash rsync -az --delete [email protected]:/data/ /databack/rsyncback/ tar czvf rsync-`date +%Y-%m-%d`.tar.gz /databack/rsyncback/* 执行情况： [[email protected] server]# sh -x rsync.sh + rsync -az --delete [email protected]:/data/ /databack/rsyncback/ ++ date +%Y-%m-%d + tar czvf rsync-2017-09-16.tar.gz /databack/rsyncback/10.txt /databack/rsyncback/1.txt /databack/rsyncback/3.txt /databack/rsyncback/5.txt /databack/rsyncback/7.txt /databack/rsyncback/9.txt /databack/rsyncback/winner.txt tar: 从成员名中删除开头的“/” /databack/rsyncback/10.txt /databack/rsyncback/1.txt /databack/rsyncback/3.txt /databack/rsyncback/5.txt /databack/rsyncback/7.txt /databack/rsyncback/9.txt /databack/rsyncback/winner.txt [[email protected] server]# [[email protected] server]# tar xzvf rsync-2017-09-16.tar.gz databack/rsyncback/10.txt databack/rsyncback/1.txt databack/rsyncback/3.txt databack/rsyncback/5.txt databack/rsyncback/7.txt databack/rsyncback/9.txt databack/rsyncback/winner.txt [[email protected] server]# ls databack rsync-2017-09-16.tar.gz rsync.sh xtrabackupmysql.sh [[email protected] server]# cd databack/rsyncback/ [[email protected] rsyncback]# ls 10.txt 1.txt 3.txt 5.txt 7.txt 9.txt winner.txt [[email protected] rsyncback]#
2.2 基于系统用户的实时备份
在实时备份中，我们会选用inotif做文件的监控，安装方式为源码包，需要gcc等安装环境，文件下载等根据上面的地址下载就可以，可以使用wget加地址下载，下面对下载和安装做相关的演示。
| 数据实时同步规划（rsync+系统用户） | ||||
| 主机序号 | 主机IP | 备份目录 | 安装软件 | 同步方式 |
| 1 | 192.168.223.128（数据源服务器） | /data/ | rsync+inotify | 主动方式 |
| 2 | 192.168.223.129（备份存储服务器） | /databack/rsyncback | 一 | 一 |
[[email protected] install]# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz --2017-09-16 23:35:15-- http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 正在解析主机 github.com... 192.30.255.112, 192.30.255.113 正在连接 github.com|192.30.255.112|:80... 已连接。 已发出 HTTP 请求，正在等待回应... 302 Found 位置：http://101.96.10.63/github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL] --2017-09-16 23:35:15-- http://101.96.10.63/github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 正在连接 101.96.10.63:80... 已连接。 已发出 HTTP 请求，正在等待回应... 301 Moved Permanently 位置：https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL] --2017-09-16 23:35:16-- https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 正在连接 github.com|192.30.255.112|:443... 已连接。 已发出 HTTP 请求，正在等待回应... 302 Found 位置：https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL] --2017-09-16 23:35:18-- https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 正在解析主机 cloud.github.com... 54.192.75.93, 54.192.75.223, 54.192.75.185, ... 正在连接 cloud.github.com|54.192.75.93|:443... 已连接。 已发出 HTTP 请求，正在等待回应... 200 OK 长度：358772 (350K) [null] 正在保存至: “inotify-tools-3.14.tar.gz” 31% [===============> ] 113,669 36.5K/s eta(英国中部时36% [=================> ] 130,053 35.6K/s eta(英国中部时45% [======================> ] 162,821 38.5K/s eta(英国中部时54% [===========================> ] 195,589 40.9K/s eta(英国中部时58% [=============================> ] 211,517 41.3K/s eta(英国中部时63% [================================> ] 227,901 33.1K/s eta(英国中部时68% [==================================> ] 244,285 28.3K/s eta(英国中部时72% [====================================> ] 260,669 28.1K/s eta(英国中部时77% [=======================================> ] 277,509 25.6K/s eta(英国中部时81% [=========================================> ] 293,893 20.5K/s eta(英国中部时86% [===========================================> ] 310,277 20.7K/s eta(英国中部时91% [==============================================> ] 326,661 18.2K/s eta(英国中部时95% [================================================> ] 343,045 17.9K/s eta(英国中部时100%[===================================================>] 358,772 17.6K/s eta(英国中部时100%[===================================================>] 358,772 17.6K/s in 20s 2017-09-16 23:35:40 (17.6 KB/s) - 已保存 “inotify-tools-3.14.tar.gz” [358772/358772]) 编译安装 [[email protected] inotify-tools-3.14]# ./configure &&make &&make install checking for a BSD-compatible install... /usr/bin/install -c checking whether build environment is sane... yes checking for a thread-safe mkdir -p... /bin/mkdir -p checking for gawk... gawk checking whether make sets $(MAKE)... yes checking whether make sets $(MAKE)... (cached) yes checking for gcc... gcc checking for C compiler default output file name... a.out checking whether the C compiler works... yes checking whether we are cross compiling... no checking for suffix of executables... checking for suffix of object files... o checking whether we are using the GNU C compiler... yes checking whether gcc accepts -g... yes checking for gcc option to accept ISO C89... none needed checking for style of include used by ...... test -z "/usr/local/share/man/man1" || /bin/mkdir -p "/usr/local/share/man/man1" /usr/bin/install -c -m 644 inotifywait.1 inotifywatch.1 ‘/usr/local/share/man/man1‘ make[2]: Leaving directory `/usr/install/inotify-tools-3.14/man‘ make[1]: Leaving directory `/usr/install/inotify-tools-3.14/man‘ make[1]: Entering directory `/usr/install/inotify-tools-3.14‘ make[2]: Entering directory `/usr/install/inotify-tools-3.14‘ make[2]: Nothing to be done for `install-exec-am‘. make[2]: Nothing to be done for `install-data-am‘. make[2]: Leaving directory `/usr/install/inotify-tools-3.14‘ make[1]: Leaving directory `/usr/install/inotify-tools-3.14‘ 安装成功 将 /usr/local/bin/inotifywait等 相关命令加入系统环境变量或者通过软链接到/usr/bin/ [[email protected] inotify-tools-3.14]# ln -s /usr/local/bin/* /usr/bin/ [[email protected] inotify-tools-3.14]# inotifywait OK成功
实时监控备份脚本
#/bin/bash LocalPath=/data/ [email protected]:/databin/ inotifywait -mrq -e modify,delete,create,attrib ${LocalPath} | while read D E F do /usr/bin/rsync -ahqzt --delete ${LocalPath} $RemotrHost done
测试结果：
[[email protected] server]# sh rsync.sh 另开一个终端 [[email protected] data]# ls 10.txt 1.txt 3.txt 5.txt 7.txt 9.txt winner.txt [[email protected] data]# touch {11,12,13,15}.txt [[email protected] data]# echo "rsync+inotify-tool"> {1,3,5}.txt -bash: {1,3,5}.txt: ambiguous redirect [[email protected] data]# echo "rsync+inotify-tool"> 1.txt [[email protected] data]# echo "rsync+inotify-tool"> 2.txt [[email protected] data]# 129主机检查同步情况 [[email protected] inotify-tools-3.14]# cd /datab databack/ databin/ [[email protected] inotify-tools-3.14]# cd /databack/rsyncback/ [[email protected] rsyncback]# ls 10.txt 11.txt 12.txt 13.txt 15.txt 1.txt 3.txt 5.txt 7.txt 9.txt winner.txt [[email protected] rsyncback]# cat 1.txt rsync+inotify-tool [[email protected] rsyncback]# cat 3.txt [[email protected] rsyncback]# cat 5.txt [[email protected] rsyncback]# cat 2.txt rsync+inotify-tool [[email protected] rsyncback]#
经过验证基于系统的文件实时同步是不存在任何问题的，实现了我们初级的需求与规划，接下可以配置基于rsync用户的文件实时同步服务。
3、基于rsyncd服务的文件实时同步
| 数据实时同步规划（rsync+rsync用户） | ||||
| 主机序号 | 主机IP | 备份目录 | 安装软件 | 同步方式 |
| 1 | 192.168.223.128（数据源服务器） | /data/ | rsync+inotify | 推送 |
| 2 | 192.168.223.129（备份存储服务器） | /databack/rsyncback | rsyncd | 一 |
192.168.223.128主机需要安装rsync+inotify，我们在测试上面的服务时已经安装，所以不需要再安装，更改相关的配置即可。192.168.223.129需要安装和配置rsyncd，而rsync服务是由xinetd服务管理，所以我们需要安装xinetd服务。
yum install xinetd [[email protected]]# yum install xinetd -y 已加载插件：fastestmirror 设置安装进程 Loading mirror speeds from cached hostfile * base: mirrors.163.com * extras: mirror.lzu.edu.cn * updates: centos.ustc.edu.cn 包 2:xinetd-2.3.14-40.el6.x86_64 已安装并且是最新版本 无须任何处理
启动rsync服务需要更改相关配置
[[email protected] rsyncback]# vi /etc/xinetd.d/rsync # default: off # description: The rsync server is a good addition to an ftp server, as it # allows crc checksumming etc. service rsync { disable = no #将这里的yes更改为no flags = IPv6 socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID } 启动服务 [[email protected] rsyncback]# /etc/init.d/xinetd restart 停止 xinetd： [失败] 正在启动 xinetd： [确定] 或者以下方式 [[email protected] rsyncback]# rsync --daemon --config=/etc/rsyncd.conf Failed to parse config file: /etc/rsyncd.conf 默认情况下/etc/rsyncd.conf该文件不存在需要我们手动去创建
创建rsyncd.conf文件 以及其相关介绍
uid =nobody #运行进程的身份 gid =nobody #运行进程的组 address =192.168.223.129 #监听IP port =873 #监听端口 hosts allow =192.168.223.128 #允许同步客户端的IP地址，可以是网段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0 use chroot =yes #是否囚牢，锁定家目录，rsync被黑之后，黑客无法再rsync运行的家目录之外创建文件，选项设置为yes max connections =5 #最大连接数 pid file =/var/run/rsyncd.pid #进程PID，自动生成 lock file =/var/run/rsync.lock #指max connectios参数的锁文件 log file =/var/log/rsyncd.log #日志文件位置 motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息，需要创建 [databack] #共享模块名称 path =/databack/rsyncback #路径 comment =used for web-data root #描述 readonly = yes #只读方式（只可以下载） list =yes #是否允许查看模块信息 auth users = rsyncuser #备份的用户，和系统用户无关 secrets file =/etc/rsync.passwd #存放用户的密码文件，格式是 用户名：密码 创建提示文件和用户密码 [[email protected] rsyncback]# vi /etc/rsync.passwd rsyncuser:password123 [[email protected] rsyncback]# cat /etc/rsync.passwd rsyncuser:password123 [[email protected] rsyncback]# chmod 600 /etc/rsync.passwd #目录权限必须是700或者600，否则的话身份验证会失效，设置rsync user的时候 [[email protected] rsyncback]# 启动服务测试： [[email protected] rsyncback]# rsync --daemon --config=/etc/rsyncd.conf 或者 [[email protected] rsyncback]# /etc/init.d/xinetd restart [[email protected] rsyncback]# rsync --daemon --config=/etc/rsyncd.conf [[email protected] rsyncback]# netstat -antup | grep :873 tcp 0 0 192.168.223.129:873 0.0.0.0:* LISTEN 7299/rsync
测试文件同步服务（192.168.223.128上面推送）
[[email protected] data]# rsync -azp /data/ [email protected]::databack Welcome to Backup Server Password: #输入密码password123 [[email protected] data]# ls 10.txt DIR_COLORS init.conf mtab securetty 11.txt DIR_COLORS.256color inittab my.cnf services 12.txt DIR_COLORS.lightbgcolor inputrc my.cnf.rpmnew sestatus.conf 13.txt dracut.conf issue networks shadow 15.txt environment issue.net nsswitch.conf shadow- 1.txt ethers kdump.conf passwd shells 2.txt exports krb5.conf passwd- statetab 3.txt favicon.png ld.so.cache printcap sudo.conf 5.txt filesystems ld.so.conf profile sudoers 7.txt fstab libaudit.conf protocols sudo-ldap.conf 9.txt gai.conf libuser.conf rc sysctl.conf adjtime group localtime rc.local system-release aliases group- login.defs rc.sysinit system-release-cpe aliases.db grub.conf logrotate.conf redhat-release virc asound.conf gshadow magic resolv.conf wgetrc bashrc gshadow- mailcap rpc winner.txt centos-release host.conf man.config rsyncd.conf xinetd.conf crypttab hosts mime.types rsyncd.secrets yum.conf csh.cshrc hosts.allow mke2fs.conf rsyslog.conf csh.login hosts.deny motd rwtab 192.168.223.129主机上检查推送结果 [[email protected] rsyncback]# ls 10.txt DIR_COLORS init.conf mtab securetty 11.txt DIR_COLORS.256color inittab my.cnf services 12.txt DIR_COLORS.lightbgcolor inputrc my.cnf.rpmnew sestatus.conf 13.txt dracut.conf issue networks shadow 15.txt environment issue.net nsswitch.conf shadow- 1.txt ethers kdump.conf passwd shells 2.txt exports krb5.conf passwd- statetab 3.txt favicon.png ld.so.cache printcap sudo.conf 5.txt filesystems ld.so.conf profile sudoers 7.txt fstab libaudit.conf protocols sudo-ldap.conf 9.txt gai.conf libuser.conf rc sysctl.conf adjtime group localtime rc.local system-release aliases group- login.defs rc.sysinit system-release-cpe aliases.db grub.conf logrotate.conf redhat-release virc asound.conf gshadow magic resolv.conf wgetrc bashrc gshadow- mailcap rpc winner.txt centos-release host.conf man.config rsyncd.conf xinetd.conf crypttab hosts mime.types rsyncd.secrets yum.conf csh.cshrc hosts.allow mke2fs.conf rsyslog.conf csh.login hosts.deny motd rwtab 删除192.168.223.128下/data数据
实时同步测试
客户端创建密码文件 （192.168.223.128）
[[email protected] data]# vi /etc/rsync_client.pwd password123 更改权限 [[email protected] data]# chmod 600 /etc/rsync_client.pwd 执行以下命令 [[email protected] data]# rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ [email protected]::databack 这时候客户端就不需要输入密码了 编写实时监控同步脚本 #/bin/bash LocalPath=/data/ [email protected]:/databack/rsyncback/ #inotifywait -mrq -e create,move,delete,modify /data/bin* inotifywait -mrq -e modify,delete,create,attrib ${LocalPath} | while read D E F do rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ [email protected]::databack done 执行脚本
[[email protected] server]# sh -x rsyncinotify.sh 另一个中端执行cp /etc/* /data/ total size is 838095 speedup is 591.88 + read D E F + rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ [email protected]::databack Welcome to Backup Server sending incremental file list sent 1408 bytes received 8 bytes 944.00 bytes/sec total size is 838095 speedup is 591.88 + read D E F + rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ [email protected]::databack Welcome to Backup Server sending incremental file list sent 1408 bytes received 8 bytes 2832.00 bytes/sec total size is 838095 speedup is 591.88 + read D E F + rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ [email protected]::databack
192.168.223.129 主机的数据情况
[[email protected] rsyncback]# ls adjtime init.conf protocols aliases inittab rc aliases.db inputrc rc.local asound.conf issue rc.sysinit bashrc issue.net redhat-release centos-release kdump.conf resolv.conf crypttab krb5.conf rpc csh.cshrc ld.so.cache rsync_client.pwd csh.login ld.so.conf rsyncd.conf DIR_COLORS libaudit.conf rsyncd.secrets DIR_COLORS.256color libuser.conf rsyslog.conf DIR_COLORS.lightbgcolor localtime rwtab dracut.conf login.defs securetty environment logrotate.conf services ethers magic sestatus.conf exports mailcap shadow favicon.png man.config shadow- filesystems mime.types shells fstab mke2fs.conf statetab gai.conf motd sudo.conf group mtab sudoers group- my.cnf sudo-ldap.conf grub.conf my.cnf.rpmnew sysctl.conf gshadow networks system-release gshadow- nsswitch.conf system-release-cpe host.conf passwd virc hosts passwd- wgetrc hosts.allow printcap xinetd.conf hosts.deny profile yum.conf [[email protected] rsyncback]# ls |wc 87 87 888 删除同步： [[email protected] data]# rm -f ./* [[email protected] data]# [[email protected] rsyncback]# ls #结果为空 [[email protected] rsyncback]#
到这里基础的数据同步基本上做完，但是忽略部分数据以及脚本日志信息还需要继续完善，后期持续完善！
本文出自 “坚持梦想” 博客，请务必保留此出处http://dreamlinux.blog.51cto.com/9079323/1965970
以上是关于Rsync+inotify实现文件实时同步的主要内容，如果未能解决你的问题，请参考以下文章