linux中部署rsync实现文件远程备份及同步

Posted viof7852

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux中部署rsync实现文件远程备份及同步相关的知识,希望对你有一定的参考价值。

客户端:数据源;服务端:数据接收方

rsync官方文档:https://www.samba.org/ftp/rsync/rsync.html

手动测试用“通过远程外壳访问"里的语法:

参考1链接:https://blog.csdn.net/ljihe/article/details/52276889

在rc.local里面加入/usr/bin/rsync --daemon,然后保存退出。
chmod 755 /etc/rc.d/rc.local

 查看rsync是否启动

netstat -lnt 
netstat -lntup |grep 873 #可以看到是哪个程序在管理

常用指令参考:https://www.cnblogs.com/f-ck-need-u/p/7220009.html

没有用后台daemon启动,手动测试的时候可以用这句来只同步一个文件(注意这里的用户必须是实际存在的,daemon模式下的用户可以是虚拟的):

 排除指定文件夹和指定连接的端口:

rsync -avzcR --exclude=\'runtime/\' --port=50000

测试端口是否可用,daemon服务器启动端口后用 telnet x.x.x.x. 50000 连接测试,连接后退出用"ctrl + ]",再用quit退出

用双冒号访问时,如果服务端如果没有启用--daemon客户端会收到这样的错误

服务端rsyncd.conf配置文件注释:https://blog.csdn.net/wwwyuanliang10000/article/details/48710545

服务端参考的最简单配置:

加载自定义配置文件:

加载自定义密码文件:

 

参考2链接:https://www.cnblogs.com/shihuc/p/5628893.html 

客户端配置不用密码:

vi /etc/profile
source /etc/profile
env
export RSYNC_PASSWORD="rsyncuser的密码"

设置环境变量:https://jingyan.baidu.com/article/0f5fb099370f146d8234ea43.html 

开机启动如果无效的话是文件权限不够,可以设置为755:https://jingyan.baidu.com/article/4853e1e5413b541909f72632.html

chmod 755 /etc/rc.d/rc.local

都设置完了不成功可以考虑关闭防火墙试一下:

CentOS 7防火墙:
firewall-cmd --state  //查看状态
systemctl stop firewalld.service //关闭
systemctl start firewalld.service  //开启
systemctl disable firewalld.service //关闭开机启动
systemctl enable firewalld.service  //开启开机启动

端口不通的提示如下:

 

 rsync命令排除文件和文件夹(exclude-from):https://blog.csdn.net/liangdsh/article/details/51769910

 -------------------------------------- inotify ---------------------------------------------------------

inotify 安装:https://www.cnblogs.com/pyrene/p/6414724.html

是否安装:
rpm -qa inotify-tools
线上安装:
yum install inotify-tools -y

手动测试

inotifywait -rm /home

inotify-tools命令使用讲解: https://www.centos.bz/2012/06/inotify-tools-introduction/

详细案例:http://www.ttlsa.com/web/let-infotify-rsync-fast/

#!/bin/bash
src=/data/                           # 需要同步的源路径
des=data                             # 目标服务器上 rsync --daemon 发布的名称,rsync --daemon这里就不做介绍了,网上搜一下,比较简单。
rsync_passwd_file=/etc/rsyncd.passwd            # rsync验证的密码文件
ip1=192.168.0.18                 # 目标服务器1
ip2=192.168.0.19                 # 目标服务器2
user=root                            # rsync --daemon定义的验证用户名
cd ${src}                              # 此方法中,由于rsync同步的特性,这里必须要先cd到源目录,inotify再监听 ./ 才能rsync同步后目录结构一致,有兴趣的同学可以进行各种尝试观看其效果
/usr/local/bin/inotifywait -mrq --format  \'%Xe %w%f\' -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把监控到有发生更改的"文件路径列表"循环
do
        INO_EVENT=$(echo $file | awk \'{print $1}\')      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_FILE=$(echo $file | awk \'{print $2}\')       # 把inotify输出切割 把文件路径部分赋值给INO_FILE
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断,因为他们都肯定是针对文件的操作,即使是新建目录,要同步的也只是一个空目录,不会影响速度。
        if [[ $INO_EVENT =~ \'CREATE\' ]] || [[ $INO_EVENT =~ \'MODIFY\' ]] || [[ $INO_EVENT =~ \'CLOSE_WRITE\' ]] || [[ $INO_EVENT =~ \'MOVED_TO\' ]]         # 判断事件类型
        then
                echo \'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO\'
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         #(去掉&&可以在这个服务器不通的时候继续下一个指令) INO_FILE变量代表路径哦  -c校验文件内容
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                 #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ \'DELETE\' ]] || [[ $INO_EVENT =~ \'MOVED_FROM\' ]]
        then
                echo \'DELETE or MOVED_FROM\'
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径,并加上--delete来删除目标上有而源中没有的文件,这里不能做到指定文件删除,如果删除的路径越靠近根,则同步的目录月多,同步删除的操作就越花时间。这里有更好方法的同学,欢迎交流。
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ \'ATTRIB\' ]]
        then
                echo \'ATTRIB\'
                if [ ! -d "$INO_FILE" ]                 # 如果修改属性的是目录 则不同步,因为同步目录会发生递归扫描,等此目录下的文件发生同步时,rsync会顺带更新此目录。
                then
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&            
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done

 

开机启动参考:https://blog.csdn.net/w124374860/article/details/52684518

程序在后台不挂断运行

nohup abc.sh &

jobs
fg [num]
ctrl + c

 或

nohup ./abc.sh >/dev/null 2>log &

 

以上是关于linux中部署rsync实现文件远程备份及同步的主要内容,如果未能解决你的问题,请参考以下文章

rsync+inotify实时同步环境部署

linux系统中Rsync文件同步方案

linux中的备份神器rsync实现远程同步

linux rsync远程同步+sersync+rsync实现实时同步

Linux远程增量备份-Rsync

Rsync服务简介部署使用及原理详解