rsync使用介绍

Posted 2022-01-19 4华哥a

1.rsync是什么？

​rsync，英文全称是 remote synchronize， 是一款实现远程同步功能的免费软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync 是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过 ssh 方式来传输文件。 甚至还可以实现只同步一个文件里有变化的内容部分，所以可以实现快速的同步备份数据。

同时， rsync 还可以实现同步本地数据、删除文件和目录的功能。一个 rsync 相当于 scp、 cp、 rm，并且还在性能上优于它们每一个命令。​

2.应用场景

（1）服务器之间的数据同步（cron+rsync）

（2）把所有客户服务器数据同步到备份服务器（cron+rsync）

（3）与 inotify 或 sersync 配合，做实时的数据同步（rsync+inotify/sersync）

3.常用命令参数信息

（1）参数说明
-v：--verbose 详细模式输出
-z：--compress 对备份的文件在传输的过程中进行压缩处理
-a：--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于参数：-vrztopg
-r：--recursive 对子目录以递归模式处理。
-t：--times 保持文件时间信息
-o：--owner 保持文件属主信息。
-p：--perms 保持文件权限。
-g：--group 保持文件属组信息
-D：--devices 保持设备文件信息
-l：--links 保留软链结。
-e：--rsh=command 指定使用 rsh、 ssh 方式进行数据同步
--exclude=PATTERN 指定排除不需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--bwlimit=RATE 限制传输速率， MB
（2）工作中常用参数组合：-avz
（3）参数使用演示
a.使用--bwlimit参数限制传输带宽
rsync -avz --bwlimit=10 -e ssh /etc/hosts root@192.168.166.100::tmp

4.rsync部署

4.1服务端配置

• 下载安装软件

yum install -y rsync
或
rpm -qa|grep rsync

• 编写配置文件

vi /etc/rsyncd.conf 
        uid = rsync       --- 指定管理备份目录的用户  
    gid = rsync       --- 指定管理备份目录的用户组
    port = 873        --- 定义rsync备份服务的网络端口号
    fake super = yes  --- 将rsync虚拟用户伪装成为一个超级管理员用户 
    use chroot = no   --- 和安全相关的配置
    max connections = 200  --- 最大连接数  同时只能有200个客户端连接到备份服务器
    timeout = 300          --- 超时时间(单位秒)
    pid file = /var/run/rsyncd.pid   --- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
    lock file = /var/run/rsync.lock  --- 锁文件
    log file = /var/log/rsyncd.log   --- rsync服务的日志文件 用于排错分析问题
    ignore errors                    --- 忽略传输中的简单错误
    read only = false                --- 指定备份目录是可读可写
    list = false                     --- 使客户端可以查看服务端的模块信息
    hosts allow = 192.168.166.0/24      --- 允许传输备份数据的主机(白名单)
    hosts deny = 0.0.0.0/32          --- 禁止传输备份数据的主机(黑名单)
    auth users = rsync_backup        --- 指定认证用户 
    secrets file = /etc/rsync.password   --- 指定认证用户密码文件 用户名称:密码信息
    [backup]                         --- 模块信息
    comment = "backup dir by oldboy" --- 描述
    path = /backup                   --- 模块中配置参数 指定备份目录

• 创建rsync服务的虚拟用户

useradd rsync -M -s /sbin/nologin

• 创建备份服务认证密码文件

echo "rsync_backup:123456" >/etc/rsync.password
chmod 600 /etc/rsync.password  #更改权限

• 创建备份目录并修改属主属组信息

mkdir /backup
 chown rsync.rsync /backup/   #更改主属组信息

• 启动备份服务

systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

4.2客户端配置

• 下载安装软件

yum install -y rsync

• 创建一个秘码文件

echo "123456" >/etc/rsync.password
chmod 600 /etc/rsync.password

• 进行免交互传输数据测试

#推送
rsync -avz /etc/hosts rsync_backup@192.168.166.100::backup --password-file=/etc/rsync.password
#拉取
rsync -avz rsync_backup@192.168.166.100::backup /tmp/ --password-file=/etc/rsync.password

5.rsync服务简单应用

5.1多模块功能配置

vi /etc/rsyncd.conf配置文件 
[backup]
path = /backup
[dba]
path = /dba
[dev]
path = /devdata

5.2文件排除及无差异同步

rsync排除的相关参数：
--exclude=PATTERN (排除较少文件时使用)
--exclude=FILE (排除较多文件时使用，可以将文件名写入一个文件中，再指定排除)
客户端：
排除单个文件
rsync -avz /backup --exclude=a.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password 
排除多个目录文件
（1）排除多个不连续的文件
rsync -avz /backup --exclude=a.txt,b.txt,c.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
rsync -avz /backup --exclude=a.txt --exclude=b.txt --exclude=c.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
（2）排除多个连续的文件
rsync -avz /backup  --exclude=a..g rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
（3）通过指定文件来排除多个文件
rsync -avz /backup --exclude-from=/tmp/exclude.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password 
#exclude.txt中需要写入排除的文件名，并且最好指定exclude.txt的全路径是什么
（4）完全同步：无差异同步（客户端有，服务端就有；客户端没有，服务端就没有）---谨慎使用
rsync -avz --delete /backup rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password

服务端：
在服务端排除文件--通过修改配置文件rsyncd.conf;增加:exclude=a.txt b.txt

6.rsync优缺点

• 优点：

• 增量备份，支持socket（daemon），集中备份（支持推拉，都是以客户端为参照物）
• 远程shell通道模式还可以加密（ssh）传输，socket（daemon）需要加密传输，可以利用vpn服务或ipsec服务

• 缺点：

• 大量小文件同步的时候，比对时间较长，有的时候，rsync进程可能会停止
• 同步大文件，10G这样的大文件有时也会出现问题：中断。未完整同步前，是隐藏文件，可以通过续传等参数实现传输。一次性远程拷贝可以用scp

7.rsync故障排查思路

• 查看rsync服务配置文件路径是否正确，正确的默认路径为：/etc/rsyncd.conf；
• 查看配置文件host allow，host deny，允许的ip网段是否为允许客户端访问的ip网段；
• 查看配置文件中path参数里的路径是否存在，权限是否正确（正常应为配置文件中的UID参数对应的属主和组）；
• 查看rsync服务是否启动。查看命令为：ps -ef |grep rsync。端口是否存在：netstat -lnp |grep 873；
• 查看iptables防火墙和selinux是否开启允许rsync服务通过，也可以考虑关闭iptables和selinux；
• 查看服务端rsync设置的密码未见是否为600权限，密码文件格式是否正确，正确格式为 用户名：密码，文件路径和配置文件里的secrect files 参数对应；
• 如果是推送数据，要查看下，配置rsyncd.conf文件中用户是否对模块下目录有可读可写的权限。