运维基本功(十八): Linux系统下数据同步服务RSYNC解决方案

Posted 机智的小锐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了运维基本功(十八): Linux系统下数据同步服务RSYNC解决方案相关的知识,希望对你有一定的参考价值。

本文是在课程课件基础上修改的学习笔记
课程原地址:https://www.bilibili.com/video/BV1nW411L7xm
如有侵删
运维基本功(一):Linux系统安装
运维基本功(二):Linux基本命令
运维基本功(三):Linux文件管理
运维基本功(四):Linux文件管理-Vim编辑器概述
运维基本功(五):Linux文件管理-用户管理
运维基本功(六):Linux用户管理-远程管理
运维基本功(七):Linux的权限管理操作
运维基本功(八):Linux自有服务与软件包管理
运维基本功(九): Linux自有服务-防火墙&计划任务
运维基本功(十): Linux计划任务以及进程检测与控制
运维基本功(十一): LAMP项目部署实战
运维基本功(十二): Linux命令回顾与扩展
运维基本功(十三): 再谈用户组管理
运维基本功(十四):Linux下yum源配置实战
运维基本功(十五):Linux系统优化基础
运维基本功(十六):远程管理SSH服务
运维基本功(十七):远程管理SSH服务免密登录解决方案
运维基本功(十八): Linux系统下数据同步服务RSYNC解决方案

需求背景

某公司为了保证开发人员线上代码的安全性,现需要对开发人员的代码进行备份。

在这里插入图片描述

  1. 备份机器需要每天凌晨1:03分定时同步MIS服务器的/app/java_project目录下的所有文件。
  2. 要求记录同步日志,方便同步失败分析原因。(不仅仅进行同步,还要求有同步日志)

知识储备

一、RSYNC概述

1、什么是rsync

rsync一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH、rsync主机同步。

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。
  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。
  • rsync 远程同步:remote synchronous

数据同步过程

sync数据同步 => 保存文件(目标)=> 强制把缓存中的数据写入磁盘(立即保存),实时性要求比较高的场景

asyn数据异步 => 保存文件(目标)=> 将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合大批量数据同步的场景

2、rsync特点

  • 可以镜像保存整个目录树和文件系统

  • 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

  • 传输效率高,使用同步算法,只比较变化的(增量备份)

    file1.txt file2.txt file3.txt(A服务器)

    rsync实现数据同步 => 只同步file3.txt => 增量备份

    file1.txt file2.txt(B服务器)

  • 支持匿名传输,方便网站镜像;也可以做验证,加强安全

rsync与scp区别?

# 两者都可以实现远程同步,但是相对比而言,rsync能力更强
① 支持增量备份
② 数据同步时保持文件的原有属性

二、如何使用RSYNC

1、语法

rsync命令参数

-v    详细模式输出,给出传输进度等信息

-z    压缩传输  --compress-level=NUM  指定压缩级别 1-9, 9是最大压缩级别

-a    以归档方式传输,保留文件属性

        -r    递归传输

        -t    保持文件时间信息

        -o    保持文件属主信息

        -p    保持文件权限

        -g    保持文件属组信息

        -P    显示同步过程及进度等信息

        -D    保持设备文件信息

        -l      保持软链接

        这些参数加起来等于 –a

-e    使用的信道协议,如ssh

--exclude=PATTERN    指定排除不需要传输的文件

--exclude-from=FILE    排除FILE中记录的文件

--delete   保证两边数据完全一样,如果源里没有该文件,就在目标目录删除

说明:

-avz  相当于 –vzrtopgDl

生产环境中常用: –avz 或 –vzrtopg

man rsync

NAME
       rsync — a fast, versatile, remote (and local) file-copying tool
       //一种快速、通用、远程(和本地)的文件复制工具

SYNOPSIS
       Local:  rsync [OPTION...] SRC... [DEST]

       Access via remote shell:
       //通过远程shell访问(命令)
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

       Access via rsync daemon:
       //通过后台程序访问(作为服务)
         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
               

2、rsync命令的使用

本机同步:

例题:

/wenjian1、/wenjian2与/wenjian3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# mkdir /wenjian1
# mkdir /wenjian2
# mkdir /wenjian3

# touch /wenjian1/file{1..3}

# rsync -av /wenjian1/ /wenjian2		=>   把/wenjian1目录中的所有文件拷贝到/wenjian2目录中
# rsync -av /wenjian1 /wenjian3			=>   把/wenjian1目录整体同步到/wenjian3目录中

本地文件同步类似于拷贝,把文件从一个位置到另外一个位置

例题:保留相对路径 -R

# rsync -avR /wenjian1/ /wenjian2

例题:rsync --delete(删除目标目录里多余的文件)

rsync --delete同步后,会自动删除多出的文件


# rsync -av --delete /dir1/ /dir2

远程同步:

Push:上传文件到远程服务器端

# rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

例题:把chuhan.txt文档传输到远程服务器端(10.1.1.100)

# rsync -av chuhan.txt 

例题:把shop文件夹传输到远程服务器端(10.1.1.100)

# rsync -av shop root@10.1.1.100:/root

Pull:下载文件到本地服务器端

# rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

例题:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

# rsync -av root@10.1.1.100:/etc/hosts ./

例题:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

# rsync -av root@10.1.1.100:/shop ./

思考:

rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

因为两台Linux服务器在连接时,默认使用的还是SSH协议。由于没有做免密登录,所以还是需要输入对方服务器的密码。
如果不想输入密码,可以使用免密登录来实现。
# JumpServer操作
# ssh-keygen
# ssh-copy-id root@10.1.1.250

如果Backup服务器端更改了SSH的默认密码,那这个数据该如何?

​```powershell
#  rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

第一步:启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)

# systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。必须求帮助:

# man rsync
# rsync --help
Use "rsync --daemon --help" to see the daemon-mode command-line options.

CentOS6:rsync作为系统服务
# touch /etc/rsyncd.conf
# rsync --daemon

# ps -ef|grep rsync
# netstat -tunlp |grep rsync	=>  -t tcp  -u udp

注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了!

第二步:rsyncd服务的配置文件/etc/rsyncd.conf

# man 5 rsyncd.conf

在这里插入图片描述

解决方案

1、环境准备

编号IP地址主机名称角色
110.1.1.10code.itcast.cnCode(MIS)
210.1.1.100backup.itcast.cnBackup(Backup)

第一步:关闭防火墙与SELinux

# systemctl stop firewalld
# systemctl disable firewalld

# setenforce 0
# vim /etc/selinux/config
SELINUX=disabled

第二步:更改主机名称

# hostnamectl set-hostname code.itcast.cn
# hostnamectl set-hostname backup.itcast.cn

# su

第三步:更改IP地址(静态IP)

# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"			=>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"			=>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"

# systemctl restart network

第四步:关闭NetworkManager

# systemctl stop NetworkManager
# systemctl disable NetworkManager

第五步:配置YUM源

第六步:时间同步

# ntpdate cn.ntp.org.cn

2、任务解决方案

Code:10.1.1.10服务器

第一步:准备代码文件

# mkdir /app/java_project -p
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java

第二步:把rsync作为系统服务运行

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log

# systemctl start rsyncd

# ps -ef |grep rsync
# netstat -tnlp |grep rsync

Backup:10.1.1.100

第三步:创建备份目录

# mkdir /backup/app1_java -p

第四步:测试rsync是否可以连接到rsync服务

# rsync -a root@10.1.1.10::
app
-a:获取rsync服务对应的同步目录标签

下载文件到本地

# rsync -av root@10.1.1.10::app /backup/app1_java

第五步:编写计划任务 + Shell的脚本文件,自动实现代码备份

① 编写计划任务

# crontab -e
3 1 * * * /root/rsync_java.sh 

② 编写rsync_java.sh脚本程序

# vim rsync_java.sh
#!/bin/bash
rsync -av root@10.1.1.10::app /backup/app1_java &>/dev/null

# chmod +x rsync_java.sh

3、任务总结

Code代码服务器 => 10.1.1.10 /app/java_project

Backup备份服务器 => 10.1.1.100

Code:

① 准备代码

② 编写/etc/rsyncd.conf文件,定义同步代码目录

③ 启动rsyncd服务

Backup:

① 测试rsync是否可以连接到Code服务器上的rsyncd服务

② 创建备份目录

③ 编写计划任务,凌晨1点03去Code服务器同步代码

④ 编写rsync_java.sh文件,实现同步操作

RSYNC扩展

1、给RSYNC服务添加密码

Code服务器:

① 打开/etc/rsyncd.conf配置文件

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

② 在/etc目录下创建rsyncd.secrets文件

# vim /etc/rsyncd.secrets
user1:123							 	=>   设置密码,用户名:密码
user2:123

③ 更改密码文件权限为600

# chmod 600 /etc/rsyncd.secrets 

④ 重启rsyncd服务

# systemctl restart rsyncd

Backup备份服务器:

# rsync -av user1@10.1.1.10::app ./
Password:123

2、RSYNC集合INOTIFY工具实现代码实时同步

第一步:在Code服务器端安装inotify-tools工具(监控器)

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make 
# make install

安装完后,就会产生下面两个命令
/usr/local/bin/inotifywait      等待
/usr/local/bin/inotifywatch     看守

/usr/local/bin/inotifywait
-m : 一直监控某个目录,create、delete、modify等行为
-r : 递归,不仅仅监控目录还要监控目录下的文件
-q : 获取操作信息,但是不输出

-e : 哪些行为需要被监控,modify,delete,create,attrib,move
modify: 文件被修改
delete: 文件被删除
create: 文件被创建
attrib: 文件属性被修改
move: 文件被移动

第二步:编写inotify.sh

# vim inotify.sh
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /app/java_project |while read events
do
	rsync -av --delete /app/java_project/ root@10.1.1.100:/backup/app1_java
	echo "`date +%F\\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done

我对/app/java_project做了两件事
① 在目录下创建了一个file9.java	=>   create
② 在目录下删除了一个file5.java	=>   delete
create,delete => while => 执行两次
create
rsync数据同步
delete
rsync数据同步

/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move

第三步:添加可执行权限

# chmod +x inotify.sh

第四步:让inotify.sh文件一直执行下去

# nohup ./inotify.sh  &
& : 让inotify.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束
nohup : 让程序一直在后台运行,即使我们关闭了终端

扩展:如何查看rsync.log日志文件

# cat /var/log/rsync.log

create
② 在目录下删除了一个file5.java => delete
create,delete => while => 执行两次
create
rsync数据同步
delete
rsync数据同步


> /usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move

第三步:添加可执行权限

​```powershell
# chmod +x inotify.sh

第四步:让inotify.sh文件一直执行下去

# nohup ./inotify.sh  &
& : 让inotify.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束
nohup : 让程序一直在后台运行,即使我们关闭了终端

扩展:如何查看rsync.log日志文件

# cat /var/log/rsync.log

3、rsync托管xinetd

为什么要进行服务托管?

独立服务:独立启动脚本 ssh ftp nfs dns …

依赖服务: 没有独立的启动脚本 rsync telnet 依赖xinetd服务(独立服务)

如何将rsync托管给xinetd服务去管理?

第一步:在系统中安装xinetd服务

# yum -y install xinetd

# rpm -ql xinetd

第二步:编写xinetd.conf文件(/etc/xinetd.conf)

# man 5 xinetd.conf
defaults
{
only_from		只允许访问
no_access		拒绝访问
access_times	控制访问服务的时间段
log_type		指定日志类型
interface		并发连接数
per_source		每个IP的最大连接数
}
includedir /etc/xinetd.d	子配置文件目录(追加rsync、telnet)

第三步:手工创建/etc/xinetd.d/rsync

# vim /etc/xinetd.d/rsync
service rsync
{
	disable = no
	flags = IPv6
	socket_type = stream
	wait = no
	user = root
	server = /usr/bin/rsync
	server_args = --daemon
	log_on_failure += USERID
}

备注:disable = no //开关;no表示开启该服务;yes表示关闭服务

第四步:重启xinetd服务(xinetd服务重启后,rsync服务也会随之重启,检查端口占用)

# pkill rsync
# systemctl restart xinetd
# ss -naltp |grep 873
LISTEN     :::873      users:(("xinetd",pid=45079,fd=5))

在查询873端口占用时,发现只有xinetd服务,没有rsync服务,原因:rsync => xinetd

常见问题

如果我们在启动xinetd服务时,发现系统中的873端口一直没有被占用,只能有一个问题:配置文件有错误!
解决方案:cat /var/log/messages
一定要注意颜色的变化,有颜色变化代表是正确选项,没有,就肯定你在复制时复制了一些看不见的字符。

以上是关于运维基本功(十八): Linux系统下数据同步服务RSYNC解决方案的主要内容,如果未能解决你的问题,请参考以下文章

十八Rsync 远程同步数据

Linux学习之Sersync介绍 Linux运维

Linux系统运维之Zookeeper集群配置

data怎么同步监控服务器时间

linux云自动化运维基础知识10(日志同步和时间同步)

0基础linux运维教程 Rsync结合inotify实现数据实时同步