rsync高级同步

Posted 一把纯钧

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync高级同步相关的知识,希望对你有一定的参考价值。

rsync是一款开源的、快速的、多功能的、可实现全量及增量本地或远程数据同步备份工具。适用于unix/linux/windows等多种操作系统平台。

两台机器拷贝数据
scp,nfs(linux之间),sftp,http,samba(linux与windows之间),rsync,drbd(基于文件系统同步)

1、rsync特性:

  支持拷贝特殊文件如链接文件,设备等。
  可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
  可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。
  可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高,tar。
  可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密)。
  可以通过socket(进程方式)传输文件和数据(服务端和客户端)。
  支持匿名或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像。

2、工作场景:

  两个服务器之间的备份(定时备份)
  把所有客户服务器数据同步到备份服务器(定时备份)
  rsync结合inotify的功能做实时的数据同步 (实时备份)

3、工作方式:

  单个主机本地之间的数据传输(此时类似于cp命令的功能) rsync -avz /etc/hosts .
  借助rcp,ssh等通道来传输数据(此时类似于scp命令的功能) rsync -avz /etc/hosts -e ‘ssh -p 52113‘ [email protected]:~
  以守护进程(socket)的方式传输数据(这个是rsync自身的重要的功能)

 

4、以守护进程方式传输

####服务端
1、以守护进程的方式启动
rsync --daemon

2、创建共享目录,并授权
mkdir -p /oldboy
useradd rsync -s /sbin/nologin   系统的虚拟用户
chown -R rsync.rsync oldboy

3、导入用户和密码
echo "rsync_backup:oldboy" >/etc/rsyncd.password     用户名:密码   rsync虚拟用户名:rsync虚拟用户密码
chmod 600 /etc/rsyncd.password     为了安全,让别人看不到

4、关闭防火墙和selinux

#####客户端
5、导入密码文件,只放密码不放用户名
echo "oldboy" >/etc/rsync.password   
chmod 600 /etc/rsync.password 

6、备份
rsync -avz [email protected]::oldboy /data    此时没有使用密码文件
					这个是模块名
										  
 rsync -avz [email protected]::oldboy /data --password-file=/etc/rsync.password   使用密码文件就可以不用输密码了

rsyncd.conf

##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[oldboy]                   	类似于NFS的共享目录,这是一个模块,,,,SRC
path = /oldboy/
ignore errors
read only = false
list = false
hosts allow = 192.168.222.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup      虚拟用户,不是系统用户
secrets file = /etc/rsync.password     虚拟用户的对应密码文件
#rsync_config_______________end

  

########################扩展

排除单个文件,客户端
  rsync -avz --exclude=a /data/ [email protected]::oldboy --password-file=/etc/rsync.password 推送文件,排除a
排除多个文件
  rsync -avz --exclude={a,b} /data/ [email protected]::oldboy --password-file=/etc/rsync.password 推送文件,排除a,b
  rsync -avz --exclude={a..g} /data/ [email protected]::oldboy --password-file=/etc/rsync.password 排除a到g
通过自己定义文件来排除
[[email protected] ~]# seq 10>paichu.log
rsync -avz --exclude-from=paichu.log /data/ [email protected]::oldboy --password-file=/etc/rsync.password 通过文件排除

服务端也可以控制,但是不灵活,所以一般不要再服务端配
在配置文件里面
exclude=a b test/oldboy.txt

#########################

无差异同步,客户端
--delete
如果客户端没有数据,备份到服务器,服务器也丢了,客户端也没有,所以备份时,客户端与服务器必须一样,风险很大,如果操作不当会将备份服务器给全删了
不管是服务端还是客户端如果要无差异同步,必须要两端一样
推送:本地有啥,服务端有啥,本地没有的服务端有也要删除。rsync -avz --delete /data/ [email protected]::oldboy --password-file=/etc/rsync.password
拉取:远端有啥,客户端有啥,远端没有的本地有也要删除。rsync -avz --delete [email protected]::oldboy /tmp --password-file=/etc/rsync.password

一般是有需要两台服务器之间,必须要求数据一致,且实时性又不是很高的情况,如两台负载均衡下面web服务器之间的同步,或者高可用双击配置之间的同步等,rsync无差异同步非常的危险,如果生产环境没有特殊的需求,应避免使用

############################

参考文档:
http://rsync.samba.org/
man rsync
man rsyncd.conf
http://www.samba.org/ftp/rsync/rsync.html
http://www.samba.org/ftp/rsync/rsyncd.conf.html

 

以上是关于rsync高级同步的主要内容,如果未能解决你的问题,请参考以下文章

linux高级技巧:rsync同步

linux高级技巧:rsync同步

Rsync(远程同步): inux中Rsync命令的实际示例

linux高级管理第十二章--rsync

linux高级管理第十二章--rsync

rsync+inotify实现代码实时同步