Rsync 的备份
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Rsync 的备份相关的知识，希望对你有一定的参考价值。
参考技术A实验所需环境
今日内容：备份
1.什么是备份
备份就是把文件在复制一份存储起来（给文件增加一个副本）
2.为什么要做备份
2.1数据非常重要
2.2保证数据不丢失
2.3快速的恢复数据
3.能不能不做备份
可以不做数据备份，不重要的数据不做备份，重要的数据一定要做备份。
4.备份应该咋样做，分为两种
完全备份：完整的复制一份。但是完整备份缺点是效率低下，占用的空间多。
增量备份：只备份数据变化的那一部分，效率较高节省空间。
5.备份使用的工具
本地备份：cp (完整备份，每次都全部拷贝一下)
远程备份：scp 、rsync
6.备份工具rsync基本介绍
rsync remote rsync远程同步，可以实现不同主机之间的同步，同时支持增量和全量的同步方式。
7.rsync备份工具应用几种场景
前置条件：
推push：将本地的数据推送到备份服务器
拉pull：将备份服务器的数据拉取到本地
8.rsync三大传输模式
9.查看rsync的帮助手册
1.本地传输方式：单个主机之间的数据拷贝类似于cp
2.远程传输方式，借助ssh协议进行传输意味着他在传输的过程中需要知道传输端的用户名和密码
*2.1远程传输方式以文件为示例
[root@oldboy ~]# rsync -azv <u>/etc/ </u> root@172.16.1.31:/opt/
[root@oldboy ~]# rsync -azv <u>/etc </u> root@172.16.1.31:/opt/
3.守护进程模式：不使用系统用户，使用的是一个虚拟的用户（不存在的用户）来实现推送
6.rsync选项
Rsync
Rsync
1. Rsync基本概述
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。
常见备份方式
完全备份：对所有数据做一次全备份 增量备份：只备份上一次备份之后变化的数据***** 差异备份：备份是上一次完全备份后变化的数据常见备份组合：
完全+增量：1次完全+多次增量 完全+差异：1次完全+1次差异
2.Rsync应用场景
- [ ] 数据同步的方式
推:push，上传（upload）
将客户端的数据上传到rsync服务段（backup服务器）
拉:pull，下载（download）
将rsync服务端（backup服务器）的数据下载到客户端
==推拉是由客户端发起的==
3.Rsync传输模式
Rsync大致使用三种主要的数据传输方式
Rsync命令对应选项
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致本地方式
rsync [OPTION...] SRC... [DEST]
类似cp命令
文件同步
[root@backup ~]# rsync -avz /etc/fstab /data/
sending incremental file list
fstab目录同步1：
[root@backup ~]# rsync -avz /data/ /opt/
sending incremental file list
./
fstab
passwd目录同步2：
[root@backup ~]# rsync -avz /data /opt/
sending incremental file list
data/
data/fstab
data/passwd总结: 如果要同步的是目录里面的内容，命令中目录的后面必须要加"/"; 如果要同步的是目录本身及其内容，则命令中只需写目录名。
完全同步：加--delete，源和目标内容完全一致
[root@backup ~]# rsync -avz /null/ /opt/ --delete #慎用远程方式
Access via remote shell: 远程通道传输
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
使用的ssh协议，过程是加密，类似scp命令(secure cp)
tcp传输过程，没传输一个数据都会有连接的建立、维护、断开过程。
[root@backup ~]# rsync -avz /etc/hosts root@172.16.1.31:/etc/
[root@backup ~]# rsync -avz root@172.16.1.31:/root/hello.txt .
问题：
1.用户权限问题
[root@oldboy ~]# rsync -avz oldboy@172.16.1.41:/root/hello.txt /tmp/
receiving incremental file list
rsync: change_dir "/root" failed: Permission denied (13)
2.用户身份暴露了，安全隐患
3.文件路径暴露了，安全隐患 守护进程
rsync自身非常重要的功能(不使用系统用户，更加安全)服务器的配置流程：
- [ ] 1.安装软件包
yum install -y rsync- [ ] 2.修改配置文件
1)查找配置文件
[root@oldboy ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
[root@oldboy ~]# rpm -ql rsync | grep etc
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
2)修改配置文件
[root@backup ~]# vim /etc/rsyncd.conf
# 全局模块
uid = rsync --- 运行进程的用户
gid = rsync --- 运行进程的用户组
port = 873 --- 监听端口
fake super = yes --- 无需让rsync以root身份运行，允许存储文件的完整属性（3.1版本之后）
use chroot = no --- 关闭假根功能
max connections = 200 --- 最大连接数
timeout = 600 --- 超时时间
ignore errors --- 忽略错误信息
read only = false --- 对备份数据可读写
list = false --- 不允许查看模块信息
auth users = rsync_backup --- 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd ---定义rsync服务用户连接认证密码文件路径
##局部模块
[backup] --- 定义模块信息
comment = commit --- 模块注释信息
path = /backup --- 定义接收备份数据目录- [ ] 3.创建程序用户
useradd -M -s /sbin/nologin rsync- [ ] 4.创建目录，并修改所属
mkdir [-p] /backup
chown -R rsync.rsync /backup- [ ] 5.创建虚拟用户认证文件
echo "rsync_backup:1" >/etc/rsync.password
chmod 600 /etc/rsync.password- [ ] 6.启动服务
systemctl start rsyncd
systemctl enable rsyncd注意：一定要查看是否启动成功
[root@oldboy ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
Active: active (running) since 四 2018-09-27 11:18:52 CST; 37s ago
[root@oldboy ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 4187 root 3u IPv4 44003 0t0 TCP *:rsync (LISTEN)
rsync 4187 root 5u IPv6 44004 0t0 TCP *:rsync (LISTEN)
[root@oldboy ~]# ss -antp | grep rsync
LISTEN 0 5 *:873 *:* users:(("rsync",pid=4187,fd=3))
LISTEN 0 5 :::873 :::* users:(("rsync",pid=4187,fd=5))
[root@oldboy ~]# netstat -antp | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 4187/rsync
tcp6 0 0 :::873 :::* LISTEN 4187/rsync客户端验证过程：
- [ ] 1.安装rsync包
yum install -y rsync- [ ] 2.验证
Access via rsync daemon: 守护进程方式传输 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
- 1)推：上传 客户端推送/etc/下所有内容至Rsync服务端：
[root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.41::backup- 2)拉：下载 在服务端创建下拉文件
[root@backup ~]# cp /etc/passwd /etc/fstab /etc/hosts /backup/
客户端从服务端将backup模块下的内容拉到本地
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/[ ] 3.免密
- 方法一：在客户端上创建密码文件，并给600的权限
[root@nfs ~]# echo "1" > /etc/rsync.password
[roonfsfs ~]# chmod 600 /etc/rsync.password
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ --password-file=/etc/rsync.password- 方法二：定义变量
[rnfs@nfs ~]# export RSYNC_PASSWORD=1
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ 4.Rsync服务实践
排除注意：
1.客户端使用rsync报错信息：auth failed on module backup
查看服务器端/var/log/messages
1)Sep 27 12:12:52 backup rsyncd[1385]: secrets file must not be other-accessible (see strict modes option)
表示权限的问题。
解决方法：chmod 600 /etc/rsync.password
2)……
2.需要考虑服务端下拉的文件权限，主要是读权限
root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
Password:
receiving incremental file list
rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): Permission denied (13)
rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): Permission denied (13)
./
rsync: send_files failed to open "messages" (in backup): Permission denied (13)
rsync: send_files failed to open "secure" (in backup): Permission denied (13)以上是关于Rsync 的备份的主要内容，如果未能解决你的问题，请参考以下文章