rsync的简介及使用
Posted yang-dan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了rsync的简介及使用相关的知识，希望对你有一定的参考价值。
1、rsync的基础概述
1、什么是备份
相当于给源文件增加一个副本，但是备份只会备份当前状态的数据，当你在写数据是，不会备份新写入的数据，除非自己手动在备份一次。
2、为什么要做备份
1、需要备份一些重要的数据
2、防止误操作，防止数据丢失
3、数据被删除，还能快速恢复数据
3、能不能不做备份?
可以，不重要的数据可以不做备份，但是重要的数据建议做备份，以防万一
4、备份使用什么方法？
全量备份：每次都是完全拷贝，效率低下
增量备份：每次仅备份发生改变的文件，效率高
5、备份使用的工具有哪些？
本地备份：cp
远程备份：scp rsync sz rz
6、rsync 远程同步工具
实现主机与主机之间的同步，实现增量的同步。
ps: 如果将rsync当一个服务来使用，则需要知道 ‘rsync‘ 是一个 c/s 架构
7、rsync 传输模式
1、本地传输 ----> cp
2、远程传输 ----> scp
3、守护进程 ---->
#等价于cp命令
Local: rsync [OPTION...] SRC... [DEST]
命令 选项 源 目标
[root@backup ~]# rsync -avz anaconda-ks.cfg /tmp/
#远程传输
Access via remote shell:
上传 Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
命令 选项 源 系统用户 主机IP 目标位置
1.我要将我本地的那个文件,推送至那台服务器的那个目录,使用的是什么用户
[root@backup ~]# rsync -avz ./backup_file root@172.16.1.31:/opt/
root@172.16.1.31's password: #输入31的root密码
下载 Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
命令 选项 系统用户 主机IP
2.我要下载那个主机的那个目录下的文件,使用的是什么系统用户. 然后下载到我本地的那个位置
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/backup_file ./file.txt
root@172.16.1.31's password: #输入31的root密码
目录: /etc/ /etc 区别?
#推送/etc目录下的所有文件
[root@backup ~]# rsync -avz /etc/ root@172.16.1.31:/opt
#推送/etc目录以及目录下的所有文件
[root@backup ~]# rsync -avz /etc root@172.16.1.31:/opt
Rsync借助SSH协议同步数据存在的缺陷 ( 使用对端主机的用户名和密码 系统 )
1.使用系统用户（不安全）
2.使用普通用户（会导致权限不足情况）
问题:
1.rsync -avz /etc/ root@172.16.1.31:/opt ---> 172.168.1.31
2.路径问题
3.普通用户权限
守护进程模式--->一直在后台持续的运行
ccess via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST2、配置rsync，简单使用rsync进行备份
1.安装
[root@backup ~]# yum install rsync -y
2.配置 ( 改变程序运行轨迹 )
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
3.根据配置创建一些初识环境:
3.1创建rsync用户 rsync程序需要rsync这个用户来运行
[root@backup ~]# groupadd rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync -g rsync
[root@backup ~]# id rsync
uid=1000(rsync) gid=1000(rsync) groups=1000(rsync)
3.2 虚拟用户 /etc/rsync.passwd username:password
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.3 创建一个/backup目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/
4.启动
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
5.检测
[root@backup ~]# netstat -lntp | grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 8616/rsync
6.使用
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
[root@nfs ~]# rsync -avz ./anaconda-ks.cfg rsync_backup@172.16.1.41::backup
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt
7.客户端每次都需要使用密码?
1.设定变量 RSYNC_PASSWORD (后面写脚本的时候)
[root@nfs ~]# export RSYNC_PASSWORD=123456
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt
2.提前准备一个文件 (只有密码的文件), 然后使用 --password-file 指定位置
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt --password-file=/etc/rsync.pass
8.-avz 这些选项 怎么理解?
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-D #保持设备文件信息
-P #显示同步的过程及传输时的进度等信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--delete #让目标目录和源目录数据保持一致
9. --delete 这个参数 (让目标目录和源目录数据保持一致) 危险?
#推: 源有什么,目标就有什么
[root@nfs ~]# rsync -avz /root/ rsync_backup@172.16.1.41::backup --delete
#拉: 目标主机有什么, 本地就有什么
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup ./ --delete
10.--bwlimit 限速, 这个参数? 1000兆 125MB/s
虚拟机最高的峰值 25MB/s 5MB/s ---> 取决于实际的情况
单位=KB
[root@nfs ~]# rsync -avzP --bwlimit=5120 ubuntu-18.04.1-desktop-amd64.iso rsync_backup@172.16.1.41::backup
sending incremental file list
ubuntu-18.04.1-desktop-amd64.iso 159,186,944 8% 5.12MB/s 0:05:41
11.--exclude 这个参数 --exclude-from ?
[root@nfs ~]# rsync -avzP --exclude-from=pc.txt rsync://192.168.0.128/yu
[root@nfs ~]# cat pc.txt
centos/
code/
docker-ce/
epel/
git/
java/
jenkins/
kubernetes/
mongodb/
mysql/
node/
non-supported/
php/
python/
redis/
sonarqube/
windowstools/
zabbix/
CentOS-7-x86_64-DVD-1810.iso
CentOS-Base.repo
docker-ce.repo
epel.repo
nginx.repo
php.repo
rsync_exclude.txt
zabbix.repo
各种源使用说明.txt
12.使用rsync同步学校内网yum源?
mysql/
nginx/
php/3、实现一个备份的案例（rsync 怎么去备份？）
已知3台服务器主机名分别为web01、backup 、nfs主机信息见下表:
角色 外网IP(NAT) 内网IP(LAN) 主机名
WEB eth0:10.0.0.7 eth1:172.16.1.7 web01
NFS eth0:10.0.0.31 eth1:172.16.1.31 nfs
Rsync eth0:10.0.0.41 eth1:172.16.1.41 backup
客户端: web nfs
服务端: backup1、客户端需求
1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间
4.客户端每天凌晨1点定时执行该脚本2、服务端需求
1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除
注意：所有服务器的备份目录必须都为/backup
快递: 散货-------->打包--->标记------->装车-------------->运输------------->仓库
验货-------->评价
系统: 备份的文件-->打包--->校验值----->备份至本地目录---->网络-------->推送至备份服务器
管理员校验-->通知--->邮件
1.你需要备份什么?
/etc/fstab /etc/hosts /etc/passwd /var/spool/cron/
2.你要备份到哪里?
/backup/nfs_172.16.1.31_2018-09-02
IP: ifconfig eth1 | awk 'NR==2 {print $2}'
host: hostname
date: date +%F
3.你要推送到哪里?
172.16.1.41 3、客户端配置
[root@nfs ~]# mkdir /scripts
[root@nfs ~]# cat /scripts/clinet_push_data_server.sh
------------------------------------------------------------------------------
#!/usr/bin/bash
# variables == 变量 ---> 一个固定的字符串表示一个不固定的值
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Src=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 | awk 'NR==2 {print $2}')
Date=$(date +%F)
Dest=${Host}_${Addr}_${Date}
#1.准备对应的备份目录
[ -d $Src/$Dest ] || mkdir -p $Src/$Dest
#2.将文件拷贝至备份目录
cd / && [ -f $Src/$Dest/sys.tar.gz ] || tar czf $Src/$Dest/sys.tar.gz etc/fstab etc/hosts etc/passwd && [ -f $Src/$Dest/other.tar.gz ] || tar czf $Src/$Dest/other.tar.gz var/spool/cron/ scripts/ &&
#3.添加标记
[ -f $Src/$Dest/flag_${Date} ] || md5sum $Src/$Dest/*.tar.gz > $Src/$Dest/flag_${Date}
#4.推送数据至远程仓库
export RSYNC_PASSWORD=123456
rsync -avz $Src/ rsync_backup@172.16.1.41::backup
#5.保留本地最近7天的数据
find $Src/ -type d -mtime +7 | xargs rm -rf
#批量的模拟数据
[root@nfs ~]# for i in {1..30};do date -s "201909$i"; sh /scripts/clinet_push_data_server.sh ; done4、服务端配置
#1.服务端配置邮件功能
[root@backup /]# yum install mailx -y
[root@backup /]# vim /etc/mail.rc #跳转至最后一行,然后进入编辑模式
set from=发件人@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=发件人@qq.com
set smtp-auth-password=xxxx
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
#2.测试一下是否能发送成功
mail -s "测试一下" 收件人@qq.com < /etc/hosts
#3.编写脚本
[root@backup ~]# cat /scripts/check_data_notify.sh
#!/usr/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Src=/backup
Date=$(date +%F)
#1.校验每天客户端推送过来的flag数据
md5sum -c ${Src}/*_${Date}/flag_${Date} >${Src}/result_${Date}
#2.邮件通知管理员
mail -s "Rsync Backup ${Date}" 收件人@qq.com < ${Src}/result_${Date}
#3.保留最近180天的数据
find $Src/ -type d -mtime +180 | xargs rm -rf定时任务是否有问题
客户端
[root@nfs ~]# crontab -l
#定时备份数据
*/1 * * * * sh /scripts/clinet_push_data_server.sh &>/dev/null
服务端
[root@backup ~]# crontab -l
#定时校验备份的结果
*/1 * * * * sh /scripts/check_data_notify.sh &>/dev/null如何在增加一台客户端备份
[root@web01 ~]# rsync -avz root@172.16.1.31:/scripts /以上是关于rsync的简介及使用的主要内容，如果未能解决你的问题，请参考以下文章
inotify用法简介及结合rsync实现主机间的文件实时同步