Linux之RSYNC文件同步服务

Posted 2021-07-30 锦衣admin

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux之RSYNC文件同步服务相关的知识，希望对你有一定的参考价值。

RSYNC文件同步服务概述

什么是RSYNC?

sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级快。
async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。
rsync 远程同步：remote synchronous，实现服务器到服务器端的远程备份

数据同步过程：

sync数据同步 => 保存文件（目标）=> 强制把缓存中的数据写入磁盘（立即保存），实时性要求比较高的场景，对服务器压力比较大，执行完sync才能执行其他程序
asyn数据异步 => 保存文件（目标）=> 将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘，适合大批量数据同步的场景，对服务器压力较小

rsync特点：

可以镜像保存整个目录树和文件系统
可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl，文件属性(attributes)信息等
传输效率高，使用同步算法，只比较变化的（增量备份）
file1.txt file2.txt file3.txt(A服务器) => file1.txt file2.txt(B服务器)

rsync实现数据同步 => 只同步file3.txt => 增量备份，对比发现B服务器存在 file1.txt file2.txt文件，只同步file3.txt到B服务器。
支持匿名传输，方便网站镜像；也可以做验证，加强安全

rsync与scp的区别：

两者都可以实现远程同步，但是相对比而言，rsync能力更强

支持增量备份
数据同步时保持文件的原有属性

RSYNC使用

# man rsync
NAME
       rsync — a fast, versatile, remote (and local) file-copying tool
     #l 一种快速、通用、远程（和本地）的文件复制工具

SYNOPSIS
	   #l 本地文件同步
	   Local:rsync [OPTION...] SRC... [DEST]
	  
	   #l 远程文件同步
       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST      
         #l 注意：PUSH：推，相当于上传；PULL：拉，相当于下载  
         
OPTION选项说明
	-v    	详细模式输出
	-a    	归档模式，递归的方式传输文件，并保持文件的属性，equals -rlptgoD
	-r    	递归拷贝目录
	-l		保留软链接
	-p    	保留原有权限
	-t     	保留原有时间（修改）
	-g    	保留属组权限
	-o     	保留属主权限
	-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件
	-R	    保留相对路径
	-H    	保留硬链接
	-A    	保留ACL策略
	-e     	指定要执行的远程shell命令，ssh更改端口常用选项
	-E     	保留可执行权限
	-X     	保留扩展属性信息  a属性

#l 注意：-a相当与-rlptgoD选项的组合信息

本地文件同步RSYNC命令

本地文件同步简单理解就是把文件从一个位置（同步=>拷贝）到另外一个位置（类似cp）

案例：/dir1、/dir2、/dir3与/dir4，/dir1中创建三个文件file1、file2、file3，使用rsync本地同步

# mkdir /dir1
# mkdir /dir2
# mkdir /dir3
# mkdir /dir4

# touch /dir1/file{1..3}

# rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
	[root@client ~]# rsync -av /dir1/ /dir2
	sending incremental file list
	./
	file1
	file2
	file3

# rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中
	[root@client ~]# rsync -av /dir1 /dir3
	sending incremental file list
	created directory /dir3
	dir1/
	dir1/file1
	dir1/file2
	dir1/file3

案例：rsync -R选项的应用（保留相对路径）

# rsync -avR /dir1/ /dir4
	[root@client ~]# rsync -avR /dir1/ /dir4
	sending incremental file list
	/dir1/
	/dir1/file1
	/dir1/file2
	/dir1/file3

案例：rsync --delete（删除目标目录里多余的文件）

#l /dir1	==>file1、file2（目录下有两个文件）
#l /dir2	==>file1、file2、file3（目录下有三个文件）


#l rsync --delete同步后，会自动删除file3文件。（让dir1与dir2目录中的文件高度一致）

# rsync -av --delete /dir1/ /dir2	=>	指定源目录/dir1/同步/dir2目录，将/dir2目录多余的文件删除

远程文件同步RSYNC命令

问题1：rsync远程同步数据时，默认情况下为什么需要密码？如果不需要密码进行同步该如何实现？

rsync在远程同步时，之所以要输入密码的主要原因在于其底层还是基于ssh服务实现的。
注意：当rsync作为系统服务单独运行时，则其底层就不需要SSH服务了
ssh有两种认证方式，如果没有配置免密则默认使用用户+密码的认证方式
不想要密码同步，可以考虑用免密操作

rsync免密同步命令：

# ssh-keygen -t rsa
或							=>	客户端制作秘钥对
# ssh-keygen -t rsa -P ""	

# ssh-copy-id root@10.1.1.11	=>	客户端传输公钥到服务器端，这里是客户端获取服务器端数据

#l 备注：当用inotify工具实现实时同步时，需要在服务端制作免密

问题2：如果服务器端更改了SSH的默认端口，那这个数据该如何？

#  rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.11:/root
选项说明：
	-e:固定搭配（-e "ssh -p 10086" ）,指定服务器端ssh更换的10086端口

Push：上传文件到远程服务器端

# rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径



#l 文件
# rsync -av linux.txt root@10.1.1.11:/root	=>	把linux.txt文档传输到远程服务器端（10.1.1.11）

#l 文件夹
# rsync -av shop root@10.1.1.11:/root		=>	把shop文件夹传输到远程服务器端（10.1.1.11）

Pull：下载文件到本地服务器端

# rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置


#l 文件
# rsync -av root@10.1.1.11:/etc/hosts ./	=>	把远程服务器（10.1.1.11）的/etc/hosts文件下载到本地

#l 文件夹
# rsync -av root@10.1.1.11:/shop ./			=>	把远程服务器（10.1.1.11）的/shop文件夹下载到本地

rsync作为系统服务

默认情况下，rsync只是作为一个命令来进行使用（ps 在查询进程的时候，找不到rsync相关服务程序运行的进程）但是rsync提供了一种作为系统服务的实现方式

# ps- ef |grep rsync
	[root@client dir1]# ps -ef |grep rsync
	root      29828  25587  0 20:34 pts/1    00:00:00 grep --color=auto rsync
	注意：这个进程只是grep管道符产生的进程

Linux系统服务的思路：

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

第一步：启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

# systemctl start rsyncd
	[root@client dir1]# systemctl start rsyncd
	[root@client dir1]# ps -ef |grep rsync
	root      30200      1  0 21:41 ?        00:00:00 /usr/bin/rsync --daemon --no-	detach	=>	服务已启动
	root      30226  25587  0 21:41 pts/1    00:00:00 grep --color=auto rsync

如果企业中使用的操作系统版本为CentOS6版本，则没有启动脚本。必须求帮助：

#l 求帮助命令：
	# man rsync
	# rsync --help
	Use "rsync --daemon --help" to see the daemon-mode command-line options.

CentOS6：rsync作为系统服务
	# touch /etc/rsyncd.conf	=>	先手工创建一个rsync配置文件
	# rsync --daemon			=>	将rsync服务作为一个后台程序运行

	# ps -ef|grep rsync				=>	可以查看到rsync服务启动了
	# netstat -tunlp |grep rsync	=>  -t tcp  -u udp
	[root@client dir1]# netstat -tunlp |grep rsync
	tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      30200/rsync         
	tcp6       0      0 :::873                  :::*                    LISTEN      30200/rsync    
		
		默认端口为：TCP:873

注意：如果rsync作为系统服务单独运行，则其底层就不需要SSH服务了！

第二步：rsync服务的配置文件/etc/rsyncd.conf

# man 5 rsyncd.conf		=>	查看rsync配置文件帮助命令

打开rsync服务配置文件

# vim /etc/rsyncd.conf	=>	打开rsync服务配置文件

在这里插入图片描述

实现同步远程服务器

环境准备

在这里插入图片描述

编号	IP地址	主机名称	角色
1	10.1.1.11	code.itcast.cn	Code（MIS）
2	10.1.1.12	backup.itcast.cn	Backup（Backup）

第一步：关闭防火墙与SELinux

# systemctl stop firewalld
# systemctl disable firewalld

# setenforce 0
# vim /etc/selinux/config
	SELINUX=disabled

第二步：更改主机名称

# hostnamectl set-hostname code.itcast.cn		=>	10.1.1.11
# hostnamectl set-hostname backup.itcast.cn		=>	10.1.1.12

# su

第三步：更改IP地址（静态IP）

# vim /etc/sysconfig/network-scripts/ifcfg-ens33	=>	code服务器
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.11
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"			=>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"


# vim /etc/sysconfig/network-scripts/ifcfg-ens33	=>	backup服务器
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.12
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"			=>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"

# systemctl restart network

第四步：关闭NetworkManager 防止影响静态IP获取

# systemctl stop NetworkManager
# systemctl disable NetworkManager

第五步：配置YUM源
Linux之yum源配置

# cd /etc/yum.repos.d/

# tar -zcf base.tar.gz C*.repo
# rm -rf C*.repo

# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo

# yum clean all
# yum makecache

第六步：时间同步
Linux之间同步服务NTP

# 手动同步NTP时间 
# ntpdate cn.ntp.org.cn(NTP服务器的IP地址或域名) => 手工同步NTP时间

# date => 查看Linux系统时间


# 自动同步NTP时间
# systemctl start ntpd => 启动ntpd服务
# systemctl enable ntpd => 把ntpd服务追加到系统开机启动项中

任务解决方案

Code：10.1.1.11 代码服务器

第一步：准备代码文件

# mkdir -p /app/java_project 
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java

第二步：把rsync作为系统服务运行，定义同步代码目录/app/java_project

# vim /etc/rsyncd.conf		=>	编辑rsync服务配置文件
	[app]							=>	命名标签，任意命名 [ftp]=>[app]
	path=/app/java_project			=>	代表rsync服务自动同步这个路径下的文件
	log file=/var/log/rsync.log		=>	代表在传输过程中产生了日志文件就写入"rsync.log"这个文件下

# systemctl start rsyncd		=>	启动rsync服务

# ps -ef |grep rsync			=>	查看是否启动成功，有则查询出rsync服务进程
# netstat -tnlp |grep rsync		=>	查看是否启动成功，有则查询出rsync服务占用了TCP:873端口

rsync配置文件如图：
在这里插入图片描述

Backup：10.1.1.12 备份服务器

第三步：创建备份目录

# mkdir -p /backup/app1_java		=>	备份服务器上专门放置备份代码

第四步：使用rsync命令测试备份服务器是否可以连接到代码服务器rsync服务

# rsync -a root@10.1.1.11::
	[root@backup ~]# rsync -a root@10.1.1.11::		=>	注意：连接报错
	rsync: failed to connect to 10.1.1.11 (10.1.1.11): No route to host (113)
	rsync error: error in socket IO (code 10) at clientserver.c(125) [Receiver=3.1.2]
											
	[root@code ~]# systemctl stop firewalld		=>	关闭code备份服务器防火墙重新获取rsync同步目录
	[root@code ~]# systemctl start firewalld
	
	[root@backup ~]# rsync -a root@10.1.1.11::		=>	获取到rsync服务的同步目录标签
	app            	

#l 注意：code服务器需要关闭防火墙

选项说明：
	-a：获取rsync服务对应的同步目录标签

从back备份服务器上使用rsync命令将code服务器上的代码下载到本地

#l 基本语法：rsync -av 远程用户@远程rsync服务IP::同步目录标签 本地备份服务器备份目录

# rsync -av root@10.1.1.11::app /backup/app1_java
	[root@backup ~]# rsync -av root@10.1.1.11::app /backup/app1_java
	receiving incremental file list
	rsync: opendir "/." (in app) failed: Permission denied (13)
	./

	sent 27 bytes  received 113 bytes  93.33 bytes/sec
	total size is 0  speedup is 0.00
	rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1650) [generator=3.1.2]
	#l 显示权限不足，这是因为code服务器上的selinux服务没有关闭

#l 关闭code服务器selinux 
	# setenforce 0 				=> 临时关闭SElinux：重启后SELinux还会自动启动
	# vim /etc/selinux/config 	=> 永久关闭SELinux：编辑SELinux的配置文件
		SELINUX=enforcing => SELINUX=disabled  将"enforcing"更改为"disabled"


#l backup备份服务器再下载
	# rsync -av root@10.1.1.11::app /backup/app1_java
	[root@backup ~]# rsync -av root@10.1.1.11::app /backup/app1_java
	receiving incremental file list
	file1.java
	file2.java
	file3.java
	file4.java
	file5.java
	file6.java
	file7.java
	file8.java
	file9.java
	aa1/
	aa2/
	aa3/

	sent 211 bytes  received 645 bytes  1,712.00 bytes/sec
	total size is 0  speedup is 0.00

编写脚本自动同步

第五步：编写计划任务+shell脚本，自动备份代码
Linux之计划任务服务crontab

#l shell脚本文件内容：
	# vim rsync_java.sh
		#!/bin/bash
		rsync -av root@10.1.1.11::app /backup/app1_java &>/dev/null

	#l 注意：需要给脚本文件添加可执行权限： chmod +x rsync_java.sh



#l 编写计划任务
	# crontab -e
	3 1 * * * /root/rsync_java.sh 	=>	每天一点零三分进行备份

任务总结

Code代码服务器 => 10.1.1.11 /app/java_project

Backup备份服务器 => 10.1.1.12

Code服务器：

① 准备代码

② 编写/etc/rsyncd.conf文件，定义同步代码目录

③ 启动rsyncd服务

Backup服务器：

① 测试rsync是否可以连接到Code服务器上的rsyncd服务

② 创建备份目录

③ 编写计划任务，凌晨1点03去Code服务器同步代码

④ 编写rsync_java.sh文件，实现同步操作

rsync扩展

给rsync服务添加密码

对code服务器的rsync服务配置文件进行配置：

第一步：打开/etc/rsyncd.conf 配置文件

# vim /etc/rsyncd.conf
	[app]
	path=/app/java_project
	log file=/var/log/rsync.log
	auth users = user1,user2				=>   用户名
	secrets file = /etc/rsyncd.secrets		=>   密码文件

第二步：在/etc目录下创建rsyncd.secrets 文件

# vim /etc/rsyncd.secrets
	user1:123				=>   设置密码，用户名:密码
	user2:123				=>   设置密码，用户名:密码

第三步：更改密码文件权限为600

# chmod 600 /etc/rsyncd.secrets

第四步：重启rsyncd服务

# systemctl restart rsyncd

Backup备份服务器：

测试密码是否生效

# rsync -av user1@10.1.1.11::app ./
Password:123

RSYNC集合INOTIFY 工具实现代码实时同步

innotify工具会监控code服务器下需要同步的/app/java_project目录下的文件。当文件有变化时（新建文件、删除文件、修改文件）会自动进行同步到备份服务器中
在这里插入图片描述

第一步：在Code服务器端安装inotify-tools工具（监控器）

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/	=>	工具解压到/usr.local目录
# cd /usr/local/inotify-tools-3.14		=>	进入到解压工具目录
#l ./configure		=>	默认配置
# make 				=>	编译
# make install		=>	编译安装


#l 安装完后，就会产生下面两个命令
	/usr/local/bin/inotifywait      等待，及等待同步目录发生变化
	/usr/local/bin/inotifywatch     看守

#l 文件命令说明：inotifywait
	/usr/local/bin/inotifywait
		-m : 一直监控某个目录，目录下发生create、delete、modify等文件行为就记录下来
		-r : 递归，不仅仅监控目录还要监控目录下的文件
		-q : 获取操作信息，但是不输出
		-e : 哪些"文件行为"需要被监控，modify,delete,create,attrib,move
			modify: 文件被修改
			delete: 文件被删除
			create: 文件被创建
			attrib: 文件属性被修改
			move: 文件被移动

第二步：编写inotify.sh 脚本，保持备份服务器与代码服务器文件统一，且代码服务器的同步文件出现的时间保存到rsync.log日志中

# vim inotify.sh
	#!/bin/bash
	/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /app/java_project |while read events
	do
	    rsync -av --delete /app/java_project/ root@10.1.1.12:/backup/app1_java
		echo "`date +%F\\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
	done


假设对/app/java_project做了两件事
① 在目录下创建了一个file9.java	=>   create
② 在目录下删除了一个file5.java	=>   delete
create,delete => while => 执行两次
	create
	rsync数据同步
	delete
	rsync数据同步

第三步：给inotify.sh脚本添加可执行权限

# chmod +x inotify.sh

#l 报错
	[root@nfs ~]# nohup ./rsync.sh &
	[1] 72612
	[root@nfs ~]# nohup: 忽略输入并把输出追加到"nohup.out"

#l 解决方法：
	# nohup ./rsync.sh &	=>	nohup ./rsync.sh >/dev/null 2>&1 &	更换一下命令

第四步：让inotify.sh 脚本文件一直执行下去

# nohup ./inotify.sh  &	=>	让inotify.sh 脚本文件一直执行下去
命令选项说明：
	& : 让inotify.sh在计算机后台运行，可以使用"jobs"命令查看，"kill %编号"结束，当我们退出终端时，这个执行会自动结束
	nohup : 让程序一直在后台运行，即使我们关闭了终端
#	jobs:查看后台程序进程
#	kill %编号：结束后天程序进程

第五步：到back备份服务器查看是文件是否同步成功

查看是否同步成功：

# ll /backup/app1_java/
	[root@back ~]# ll /backup/app1_java/
总用量 0
	drwxr-xr-x. 2 root root 6 5月   2 21:58 aa1
	drwxr-xr-x. 2 root root 6 5月   2 21:58 aa2
	drwxr-xr-x. 2 root root 6 5月   2 21:58 aa3
	-rw-r--r--. 1 root root 0 5月   2 21:59 file1.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file2.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file3.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file4.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file5.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file6.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file7.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file8.java
	-rw-r--r--. 1 root root 0 5月   2 21:59 file9.java

后台程序命令应用：

在这里插入图片描述

rsync托管xinetd

独立服务：独立启动脚本 ssh ftp nfs dns …
依赖服务: 没有独立的启动脚本 rsync telnet 依赖xinetd服务（独立服务）

平时不占用系统的运行资源
xinetd服务管理依赖服务
一些轻量级服务会托管给xinetd服务

如何将rsync托管给xinetd服务去管理

第一步：下载xinetd服务

# yum -y install xinetd

# rpm -ql xinetd
	[root@code ~]# rpm -ql xinetd
	/etc/sysconfig/xinetd
	/etc/xinetd.conf
	/etc/xinetd.d/chargen-dgram
	/etc/xinetd.d/chargen-stream
	/etc/xinetd.d/daytime-dgram
	/etc/xinetd.d/daytime-stream
	/etc/xinetd.d/discard-dgram
	/etc/xinetd.d/discard-stream
	/etc/xinetd.d/echo-dgram
	/etc/xinetd.d/echo-stream
	/etc/xinetd.d/tcpmux-server
	/etc/xinetd.d/time-dgram
	/etc/xinetd.d/time-stream
	/usr/lib/systemd/system/xinetd.service		=>	"xinetd.service"服务管理文件,可以start,stop服务
	/usr/sbin/xinetd
	/usr/share/doc/xinetd-2.3.15
	/usr/share/doc/xinetd-2.3.15/CHANGELOG
	/usr/share/doc/xinetd-2.3.15/COPYRIGHT
	/usr/share/doc/xinetd-2.3.15/README
	/usr/share/doc/xinetd-2.3.15/empty.conf
	/usr/share/以上是关于Linux之RSYNC文件同步服务的主要内容，如果未能解决你的问题，请参考以下文章 
 Linux之rsync数据同步服务
 linux---集群架构初探搭建backup服务器之rsync
 linux---集群架构初探搭建backup服务器之rsync
 Linux服务之Rsync
 Linux三阶段之四：实时同步（inotify+rsync,sersync+rsync）
 Linux三阶段之二：备份服务（rsync）

Linux之RSYNC文件同步服务

Linux值RSYNC文件同步服务

RSYNC文件同步服务概述

RSYNC使用

本地文件同步RSYNC命令

远程文件同步RSYNC命令

Push：上传文件到远程服务器端

Pull：下载文件到本地服务器端

rsync作为系统服务

实现同步远程服务器

环境准备

任务解决方案

Code：10.1.1.11 代码服务器

Backup：10.1.1.12 备份服务器

从back备份服务器上使用rsync命令将code服务器上的代码下载到本地

编写脚本自动同步

任务总结

rsync扩展

给rsync服务添加密码

RSYNC集合INOTIFY 工具实现代码实时同步

rsync托管xinetd

如何将rsync托管给xinetd服务去管理