rsync备份服务

Posted 2020-10-21

第1章 Rsync备份服务开篇介绍

1.1 Rsync介绍

1.1.1 什么是rsync服务

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。Rsync软件适用于Unix/Linux/window等多种操作系统平台。

  rsync服务软件官方链接：http://www.samba.org/ftp/rsync/rsync.html

 

  man rsync

  NAME   rsync — a fast, versatile, remote (and local) file-copying tool

 

提示信息：

man  rsync  查看客户端

man  rsyncd.conf 查看服务端配置

1.2 什么是全量，什么是增量

   全量复制：本地所有数据都进行传输复制，不管对端服务器是否有相同的数据，如果有进行覆盖

   增量复制：只备份同步变化的数据信息，对端服务器已经存在的数据，不进行传输复制

1.3 Rsync命令使用介绍

1.3.1 rsync软件 == scp命令

  准备测试环境

[[email protected] ~]# mkdir /wuhuang [[email protected] ~]# touch /wuhuang/wuhuang-file{1..5} [[email protected] ~]# ls /wuhuang/ wuhuang-file1  wuhuang-file2  wuhuang-file3  wuhuang-file4  wuhuang-file5

 scp命令使用

    -r   表示递归传输数据

   -p   表示数据属性信息不变

远程传输文件： [[email protected] ~]# scp -rp /wuhuang/wuhuang-file1 10.0.0.31:/tmp [email protected]'s password: wuhuang-file1                                  100%    0     0.0KB/s   00:00     验证 [[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 17:43 wuhuang-file1 远程传输目录： [[email protected] ~]# scp -rp /wuhuang/ 10.0.0.31:/tmp [email protected]'s password: wuhuang-file5                                  100%    0     0.0KB/s   00:00     wuhuang-file3                                  100%    0     0.0KB/s   00:00     wuhuang-file4                                  100%    0     0.0KB/s   00:00     wuhuang-file2                                  100%    0     0.0KB/s   00:00     wuhuang-file1                                  100%    0     0.0KB/s   00:00     验证 [[email protected] ~]# ll /tmp/ total 4 drwxr-xr-x  2 root root 4096 Jan 22 17:43 wuhuang -rw-r--r--  1 root root    0 Jan 22 17:43 wuhuang-file1

rsync命令使用：

    -r   表示递归传输数据

   -p   表示数据属性信息不变

远程传输文件： [[email protected] ~]# rsync -rp /wuhuang/wuhuang-file2 10.0.0.31:/tmp The authenticity of host '10.0.0.31 (10.0.0.31)' can't be established. RSA key fingerprint is 57:3f:64:68:95:4d:99:54:01:33:ab:47:a0:72:da:bf. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.31' (RSA) to the list of known hosts. [email protected]'s password: 验证 [[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 18:01 wuhuang-file2 远程传输目录： [[email protected] ~]# rsync -rp /wuhuang/ 10.0.0.31:/tmp [email protected]'s password: [[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 18:09 wuhuang-file1 -rw-r--r--  1 root root 0 Jan 22 18:09 wuhuang-file2 -rw-r--r--  1 root root 0 Jan 22 18:09 wuhuang-file3 -rw-r--r--  1 root root 0 Jan 22 18:09 wuhuang-file4 -rw-r--r--  1 root root 0 Jan 22 18:09 wuhuang-file5 说明：如果传输目录时，目录名称后面有/(/wuhuang/), 表示将目录下面的数据内容进行传输 [[email protected] ~]# rsync -rp /wuhuang 10.0.0.31:/tmp [email protected]'s password: [[email protected] ~]# ll /tmp/ total 4 drwxr-xr-x  2 root root 4096 Jan 22 18:10 wuhuang -rw-r--r--  1 root root    0 Jan 22 18:09 wuhuang-file1 -rw-r--r--  1 root root    0 Jan 22 18:09 wuhuang-file2 -rw-r--r--  1 root root    0 Jan 22 18:09 wuhuang-file3 -rw-r--r--  1 root root    0 Jan 22 18:09 wuhuang-file4 -rw-r--r--  1 root root    0 Jan 22 18:09 wuhuang-file5 说明：如果传输目录时，目录名称后面没有/(/wuhuang),表示将目录本身以及目录下面的内容进行传输

1.3.2 rsync软件 == cp命令

cp命令本地复制数据

[[email protected] ~]# cp -a /wuhuang/wuhuang-file1 /tmp [[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 17:59 wuhuang-file1

rsync命令本地复制数据

[[email protected] ~]# rsync -a /wuhuang/wuhuang-file2 /tmp/ [[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 17:59 wuhuang-file1 -rw-r--r--  1 root root 0 Jan 22 17:59 wuhuang-file2

1.3.3 rsync软件 == rm命令

[[email protected] ~]# ll /tmp/ total 0 -rw-r--r--  1 root root 0 Jan 22 17:59 wuhuang-file1 -rw-r--r--  1 root root 0 Jan 22 17:59 wuhuang-file2 [[email protected] ~]# mkdir /null [[email protected] ~]# rsync -r --delete /null/ /tmp/ [[email protected] ~]# ll /tmp/ total 0

rsync利用一个空目录将目录清空

[[email protected] ~]# rsync -r --delete /null/ 10.0.0.31:/tmp/ [email protected]'s password: [[email protected] ~]# ll /tmp/ total 0

1.3.4 rsync软件 == ls命令

[[email protected] ~]# ls /wuhuang/ wuhuang-file1  wuhuang-file2  wuhuang-file3  wuhuang-file4  wuhuang-file5 [[email protected] ~]# rsync /wuhuang/ drwxr-xr-x        4096 2018/01/22 17:59:26 . -rw-r--r--           0 2018/01/22 17:59:26 wuhuang-file1 -rw-r--r--           0 2018/01/22 17:59:26 wuhuang-file2 -rw-r--r--           0 2018/01/22 17:59:26 wuhuang-file3 -rw-r--r--           0 2018/01/22 17:59:26 wuhuang-file4 -rw-r--r--           0 2018/01/22 17:59:26 wuhuang-file5

1.4 Rsync复制原理介绍

 Rsync软件实现增量同步原理说明

 Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，

 当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。

 

 传统的cp , scp 工具拷贝每次均为完整的拷贝，而Rsync除了可以完整拷贝外，还具有增量拷贝的功能，

因此，从同步数据的性能及效率上，Rsync工具更胜一筹。

  CentOS5，rsync2.x比对方法，把所有的文件比对一遍，然后进行同步。

  CentOS6，rysnc3.x比对方法，一边比对差异，一边对差异的部分进行同步。

1.5  Rsync软件特性（7个特性）

1. 支持拷贝普通文件与特殊文件如链接文件，设备等。

2. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

#tar zcvf backup_1.tar.gz  /opt/data  -exclude=oldboy       说明：在打包/opt/data时就排除了oldboy命名的目录和文件。

3. 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。

4. 可实现增量同步，即只同步发生变化的数据，因此数据传输效率很高（tar -N）。

tar  -N <日期格式> 或 --newer=<日期时间>：只将比指定日期更新的文件保存到备份文件里 1.    # 将备份/home 目录自 2008-01-29 以来修改过的文件         # tar -N 2008-01-29 -zcvf /backups/inc-backup_$(date +%F).tar.gz /home 2.    # 将备份 /home 目录昨天以来修改过的文件         # tar -N $(date -d yesterday "+%F") -zcvf /backups/inc-backup_$(date +%F).tar.gz /home         # tar -N $(date -d  -1day "+%F") -zcvf /backups/inc-backup_$(date +%F).tar.gz /home 3.    # 添加文件到已经打包的文件         # tar -rf all.tar *.gif    说明：这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。

5. 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）

6. 可以通过socket(守护进程方式)传输文件和数据（服务端和客户端）*****。重点掌握

7. 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。

1.6 Rsync的企业工作场景说明

1） 利用定时任务实现数据备份（crond+rsync）

2） 利用实时同步方式实现数据备份（inotify/sersync+rsync）

第2章  Rsync的工作方式介绍与实践

       SYNOPSIS

2.1  Local:  rsync [OPTION...] SRC... [DEST]

   本地数据备份方式，类似cp命令

   rsync          ---数据备份命令

   [OPTION...]    ---指定备份数据命令参数

   SRC           ---本地要备份的数据信息

   [DEST]        ---将要备份的数据保存到什么位置

拷贝本地文件。当SRC和DEST路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：rsync -a /data /backup

[[email protected] ~]# rsync -a /etc/hosts /wuhuang/ [[email protected] ~]# ll /wuhuang/ total 4 -rw-r--r-- 1 root root 372 Jan 19 11:55 hosts

 2.2  Access via remote shell:

       Pull: rsync [OPTION...] [[email protected]]HOST:SRC... [DEST]

       Push: rsync [OPTION...] SRC... [[email protected]]HOST:DEST

   实现远程备份方式，类似scp命令

   Pull：

   rsync             ---数据备份命令

   [OPTION...]       ---指定备份数据命令参数

   [[email protected]]HOST：  ---定义以什么身份从相应主机上，拉取数据信息

                    （如果没有[[email protected]]，表示以当前用户身份登录到远程主机，拉取数据）

   SRC...            ---将要从远端服务拉取的数据信息（文件或目录）

   [DEST]           ---将拉取过来的数据，保存到本地路径信息

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DEST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src

 

将backup服务器上的数据传输到NFS01上 [[email protected] ~]# rsync -avz /wuhuang/wuhuang-file1 10.0.0.31:/opt [email protected]'s password: sending incremental file list wuhuang-file1   sent 74 bytes  received 31 bytes  23.33 bytes/sec total size is 0  speedup is 0.00 [[email protected] ~]# ls /opt/ rh  wuhuang-file1

 Push：

   rsync             ---数据备份命令

   [OPTION...]       ---指定备份数据命令参数

   SRC...            ---将本地服务器上数据信息（文件或目录），推送到远端

   [[email protected]]HOST:   ---定义以什么身份向相应主机上，推送数据信息

                    （如果没有[[email protected]]，表示以当前用户身份登录到远程主机，推送数据）

   DEST            ---将本地数据推送到远程服务器的路径信息

使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data

[[email protected] ~]# touch /tmp/wh.txt [[email protected] ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 20:24 wh.txt [[email protected] ~]# rsync -avz 10.0.0.31:/tmp/ /wuhuang/ [email protected]'s password: receiving incremental file list ./ wh.txt   sent 33 bytes  received 85 bytes  21.45 bytes/sec total size is 0  speedup is 0.00 [[email protected] ~]# ll /wuhuang/ total 4 -rw-r--r-- 1 root root 372 Jan 19 11:55 hosts -rw-r--r-- 1 root root   0 Jan 22 20:24 wh.txt -rw-r--r-- 1 root root   0 Jan 22 20:18 wuhuang-file1 -rw-r--r-- 1 root root   0 Jan 22 20:18 wuhuang-file2 -rw-r--r-- 1 root root   0 Jan 22 20:18 wuhuang-file3 -rw-r--r-- 1 root root   0 Jan 22 20:18 wuhuang-file4 -rw-r--r-- 1 root root   0 Jan 22 20:18 wuhuang-file5

  

 

2.3  Access via rsync daemon:  重点

         Pull: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST]

               rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST]

         Push: rsync [OPTION...] SRC... [[email protected]]HOST::DEST

               rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST

   实现守护进程方式，进行数据备份同步：

   Pull：

   rsync                    ---数据备份命令

   [OPTION...]           ---指定备份数据命令参数

   [[email protected]]HOST::    ---指定认证用户身份信息，从相应主机，拉取数据信息

   SRC...                    ---指定一个模块信息

   [DEST]                  ---将拉取过来的数据，保存到本地路径信息

从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av [email protected]::www /databack

www 为一个模块

   Push：

   rsync                      ---数据备份命令

   [OPTION...]            ---指定备份数据命令参数

   SRC...                     ---将本地服务器上数据信息（文件或目录），推送到远端

   [[email protected]]HOST::     ---指定认证用户身份信息，将本地主机数据，推送到远端

   DEST                      ---指定一个模块信息

 从本地机器拷贝文件到远程rsync服务器中。当DEST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack [email protected]::www

www 为一个模块

第3章 rsync守护进程模式部署步骤

3.1 服务端部署

3.1.1 第一个里程：检查软件是否存在

[[email protected] ~]# rpm -qa|grep rsync rsync-3.0.6-12.el6.x86_64 如果rsync软件不存在： yum install -y rsync

3.1.2  第二个里程：编写rsync软件的配置文件

vim /etc/rsyncd.conf       ---rsyncd.conf是rsync服务的默认配置文件，默认并不存在

 

#rsync_config #created by HQ at 2017 ##rsyncd.conf start##      uid = rsync gid = rsync use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ignore errors read only = false list = false hosts allow = 172.16.1.0/24 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password [backup] comment = "backup dir by oldboy" path = /backup

参考资料：http://man.linuxde.net/rsync

3.1.3 第三个里程碑：创建备份目录管理用户

[[email protected] ~]# vim /etc/rsyncd.conf [[email protected] ~]# useradd -s /sbin/nologin -M rsync [[email protected] ~]# id rsync uid=501(rsync) gid=501(rsync) groups=501(rsync)

3.1.4 第四个里程碑：创建认证用户密码文件

创建密码文件，采用这种方式不能使用系统用户对客户端进行认证，所以需要创建一个密码文件，其格式为“username:password”，用户名可以和密码可以随便定义，最好不要和系统帐户一致，同时要把创建的密码文件权限设置为600，保证安全，密码不泄露。

[[email protected] ~]# echo "rsync_backup:wuhuang123" >/etc/rsync.password [[email protected] ~]# chmod 600 /etc/rsync.password [[email protected] ~]# ll /etc/rsync.password -rw------- 1 root root 23 Jan 22 20:51 /etc/rsync.password

3.1.5 第五个里程碑：创建备份目录,并进行授权

在备份或恢复时，服务端要允许客户端有写入权限，否则也不能在客户端直接对服务端进行恢复

[[email protected] ~]# mkdir /backup [[email protected] ~]# chown -R rsync.rsync /backup/ [[email protected] ~]# ll /backup/ -d drwxr-xr-x 2 rsync rsync 4096 Jan 22 20:56 /backup/

3.1.6 第六个里程碑：启动rsync守护进程服务

[[email protected] ~]# rsync --daemon [[email protected] ~]# ps -ef|grep rsync root       1870      1  0 20:59 ?        00:00:00 rsync --daemon root       1879   1228  0 21:00 pts/0    00:00:00 grep rsync [[email protected] ~]#  netstat -lntup|grep rsync tcp        0      0 0.0.0.0:873            0.0.0.0:*               LISTEN      1870/rsync           tcp        0      0 :::873                 :::*                     LISTEN      1870/rsync

3.2 客户端部署

3.2.1 进行测试传输备份数据

[[email protected] ~]# rsync -avz /etc/hosts [email protected]::backup Password: sending incremental file list hosts   sent 201 bytes  received 27 bytes  24.00 bytes/sec total size is 372  speedup is 1.63 [[email protected] ~]# ll /backup/ total 4 -rw-r--r-- 1 rsync rsync 372 Jan 19 11:55 hosts

3.3  rsync守护进程模式数据传输原理

 

第4章 杀进程的三种方式

4.1 kill

kill命令用来删除执行中的程序或工作。kill可将指定的信息送至程序。预设的信息为SIGTERM(15),可将指定程序终止。若仍无法终止该程序，可使用SIGKILL(9)信息尝试强制删除程序。程序或工作的编号可利用ps指令或job指令查看。

   kill杀手：针对进程号，杀死进程，并且会提示进程已杀死

   kill 进程号

4.1.1 语法

kill(选项)(参数)

4.1.2 选项

-a：当处理当前进程时，不限制命令名和进程号的对应关系；

-l <信息编号>：若不加<信息编号>选项，则-l参数会列出全部的信息名称；

-p：指定kill 命令只打印相关进程的进程号，而不发送任何信号；

-s <信息名称或编号>：指定要送出的信息；

-u：指定用户。

4.1.3 参数

进程或作业识别号：指定要删除的进程或作业。

4.1.4 实例

列出所有信号名称：

[[email protected] ~]# kill -l  1) SIGHUP  2) SIGINT  3) SIGQUIT  4) SIGILL  5) SIGTRAP  6) SIGABRT  7) SIGBUS  8) SIGFPE  9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIGALRM 15) SIGTERM 16) SIGSTKFLT 17) SIGCHLD 18) SIGCONT 19) SIGSTOP 20) SIGTSTP 21) SIGTTIN 22) SIGTTOU 23) SIGURG 24) SIGXCPU 25) SIGXFSZ 26) SIGVTALRM 27) SIGPROF 28) SIGWINCH 29) SIGIO 30) SIGPWR 31) SIGSYS 34) SIGRTMIN 35) SIGRTMIN+1 36) SIGRTMIN+2 37) SIGRTMIN+3 38) SIGRTMIN+4 39) SIGRTMIN+5 40) SIGRTMIN+6 41) SIGRTMIN+7 42) SIGRTMIN+8 43) SIGRTMIN+9 44) SIGRTMIN+10 45) SIGRTMIN+11 46) SIGRTMIN+12 47) SIGRTMIN+13 48) SIGRTMIN+14 49) SIGRTMIN+15 50) SIGRTMAX-14 51) SIGRTMAX-13 52) SIGRTMAX-12 53) SIGRTMAX-11 54) SIGRTMAX-10 55) SIGRTMAX-9 56) SIGRTMAX-8 57) SIGRTMAX-7 58) SIGRTMAX-6 59) SIGRTMAX-5 60) SIGRTMAX-4 61) SIGRTMAX-3 62) SIGRTMAX-2 63) SIGRTMAX-1 64) SIGRTMAX

只有第9种信号(SIGKILL)才可以无条件终止进程，其他信号进程都有权利忽略，下面是常用的信号：

HUP     1    终端断线    INT     2    中断（同 Ctrl + C）    QUIT    3    退出（同 Ctrl + \）    TERM   15    终止    KILL    9    强制终止    CONT   18    继续（与STOP相反， fg/bg命令）    STOP   19    暂停（同 Ctrl + Z）

 

先用ps查找进程，然后用kill杀掉：

[[email protected] ~]# ps -ef | grep vim root      3268  2884  0 16:21 pts/1    00:00:00 vim install.log root      3370  2822  0 16:21 pts/0    00:00:00 grep vim [[email protected] ~]# kill 3268 [[email protected] ~]# kill 3268 -bash: kill: (3268) - 没有那个进程

4.2 killall

killall命令使用进程的名称来杀死进程，使用此指令可以杀死一组同名进程。我们可以使用kill命令杀死指定进程PID的进程，如果要找到我们需要杀死的进程，我们还需要在之前使用ps等命令再配合grep来查找进程，而killall把这两个过程合二为一，是一个很好用的命令。

killall杀手：针对进程名，杀死进程，并且会提示进程已杀死   killall sshd

 4.2.1 语法

killall(选项)(参数)

4.2.2 选项

-e：对长名称进行精确匹配；

-l：忽略大小写的不同；

-p：杀死进程所属的进程组；

-i：交互式杀死进程，杀死进程前需要进行确认；

-l：打印所有已知信号列表；

-q：如果没有进程被杀死。则不输出任何信息；

-r：使用正规表达式匹配要杀死的进程名称；

-s：用指定的进程号代替默认信号“SIGTERM”；

-u：杀死指定用户的进程。

4.2.3 参数

进程名称：指定要杀死的进程名称。

4.2.4 实例

杀死所有同名进程

[[email protected] ~]# killall vi

4.3 pkill

 pkill杀手：针对进程名，杀死进程，但是一个模糊的杀手，残暴的杀手（不会有提示信息）

 pkill sshd

[[email protected] ~]# ps -ef |grep sh root        536      2  0 17:57 ?        00:00:00 [flush-8:0] root       1188      1  0 17:57 ?        00:00:00 /usr/sbin/sshd root       1229   1188  0 17:58 ?        00:00:00 sshd: [email protected]/0 root       1231   1229  0 17:58 pts/0    00:00:00 -bash root       1734   1188  0 19:54 ?        00:00:00 sshd: [email protected]/1 root       1736   1734  0 19:54 pts/1    00:00:00 -bash root       1908   1231  1 21:28 pts/0    00:00:00 grep sh [[email protected] ~]# pkill sh 此命令同时杀死了以上进程