rsync实现负载均衡集群文件同步,搭建线上测试部署环境

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync实现负载均衡集群文件同步,搭建线上测试部署环境相关的知识,希望对你有一定的参考价值。

闲来无事,搭建一个负载均衡集群,至于负载均衡集群搭建过程,找时间写下。这次主要写集群之间的文件同步,以及线上测试环境的搭建。

笔者看过很多公司都没有线上测试环境,真是崩溃了,不造怎么确保线上线下环境一致的。

 

笔者此次使用三台服务器:

192.168.138.3   web服务器

192.168.138.4   web服务器

192.168.138.10  web服务器+线上测试环境+源站

 

其中3 4 服务器作为集群中的web服务器,对外开放,是负载均衡集群的部分。

其中10 服务器不对外开放,代码发布到该服务器,在该服务器上进行测试,完成后程序由该服务器同步到其他集群服务器上,同时网站后台以及自动脚本位于该服务器上。(如果为了安全期间,大家可以对该服务器进行配置,只允许你们公司内部网络访问,在家时通过VPN连接内部网络,这样就可以确保后台安全)

 

本文主要是大家rsync服务,至于IP配置,web服务器搭建,大家可以看我之前的文章。

 

这里我们为了开发方便,在10服务器上制定一个规则,即只要rsync.txt存在我们就开始同步,这样只要开发上传该文件同步就开始,同步完成后自动删除该文件。

 

第一步:笔者这里安装的是centos6.4 已经默认安装了rsync 所以笔者就不再进行安装,未安装的可以自行安装,过程相对简单

第二步:安装inotify inotify-tools

笔者这里centos6.4已经默认安装了inotify , 如果要查看是否安装可以使用如下命令

ll /proc/sys/fs/inotify

如果列出如下三项,则证明已经安装

-rw-r--r-- 1 root root 0 2月 1 13:59 max_queued_events
-rw-r--r-- 1 root root 0 2月 1 13:59 max_user_instances
-rw-r--r-- 1 root root 0 2月 1 13:59 max_user_watches

没有安装的读者可以自行安装,然后我们需要安装inotify-tools工具

tar -zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/usr/local/inotify-tools
make && make install

 

第三步:对客户端 服务端进行配置

讲之前一定要搞清楚 10是客户端  3 4 是否服务端  这个不要搞倒了   是10的文件同步到3 4 上面

首先对 3 4 进行配置,这里笔者贴出自己的配置文件   /etc/rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict mode = no
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /usr/data/rsync/rsyncd.log
[laiwojia-data]
path = /usr/website/html/www.laiwojia.la/data/
comment = web4 files
ignore errors
read only = no
write noly = no
hosts allow = 192.168.138.10
hosts deny = *
list = false
uid = root
gid = root
auth users = laiwojia
secrets file = /usr/local/rsync/conf/server.pass

[laiwojia]
path = /usr/website/html/www.laiwojia.la/
comment = web4 files
ignore errors
read only = no
write noly = no
hosts allow = 192.168.138.10
hosts deny = *
list = false
uid = root
gid = root
auth users = laiwojia
secrets file = /usr/local/rsync/conf/server.pass

我们这里配置了两个模块 ‘laiwojia-data‘和‘laiwojia‘ ,其中‘laiwojia-dada‘只要发生变化就要同步的(想想大家把后台放在10上面,那么这个data里面的文件就是后台生成的持久化文件,后台配置,然后整个集群通用),而‘laiwojia‘了这个模块是发布系统所用的模块,需要在站点下有‘rsync.txt‘文件时才同步。(由此我们可以看出,‘data‘中的文件不能通过发布系统发布)

 

看了上面的配置,大家就明白,‘/usr/website/html/www.laiwojia.la/data/‘这个目录必须存在, ‘/usr/local/rsync/conf/server.pass‘这个秘密文件也必须存在

秘密文件中的内容为

laiwojia:123abc+-

记住3 4 作为服务端 密码文件要有前缀 有的淫写成 ‘123abc+-‘ 后面就会不通过

 

然后我们对10进行配置,这里笔者贴出配置文件

uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict mode = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /usr/data/rsync/rsyncd.log

然后还要建立一个秘密文件‘/usr/local/rsync/conf/server.pass‘ 由于10是客户端,因此秘密没有前缀

123abc+-

 

第四步:编写shell脚本

首先是改变就同步的shell脚本,我们命名为 ‘inotify-ha-rsync.sh‘ 内容为

#!/bin/bash
host3=192.168.138.3
host4=192.168.138.4

src=/usr/website/html/www.laiwojia.la/data/
dst3=laiwojia-data
dst4=laiwojia-data
user=laiwojia

/usr/local/inotify-tools/bin/inotifywait -mrq --timefmt %d/%m/%y --format %T %w%f%e -e  modify,delete,create,attrib $src|while read files
    do
    /usr/bin/rsync  -vzrtopg --delete --progress --password-file=/usr/local/rsync/conf/server.pass  $src [email protected]$host3::$dst3
    /usr/bin/rsync  -vzrtopg --delete --progress --password-file=/usr/local/rsync/conf/server.pass  $src [email protected]$host4::$dst4
    echo "${files} was rsyncd" >>/tmp/rsync.log 2>&1
done

OK,我们来测试下

在‘/usr/website/html/www.laiwojia.la/data/‘ 目录下建立test.php 并改写其内容,我们看看结果(事先要运行这个shell)

vim test.php

#以下是内容
<?php
this is a test
hello tom!

看看运行结果

技术分享

然后看看3 和 4 机器上是否有test.php  发现两个中都有test.php 文件,好了我们看看内容

cat test.php

<?php
this is a test
hello tom

OK,这个实时同步的算是完成了

 

 

剩下我们要看看考虑到线上测试部署的,首先我们还是要建立一个shell脚本,命名为ha-rsync.sh,内如如下

!/bin/bash
host3=192.168.138.4
host4=192.168.138.3

src=/usr/website/html/www.laiwojia.la/
excludedir=$src"data/" $src"rsync.txt"
dst3=laiwojia
dst4=laiwojia
user=laiwojia
rsync_file=${src}"rsync.txt"

if [ -f "$rsync_file" ]
then
        /usr/bin/rsync  -vzrtopg --delete --progress --exclude=$excludedir  --password-file=/usr/local/rsync/conf/server.pass  $src [email protected]$host3::$dst3
        /usr/bin/rsync  -vzrtopg --delete --progress --exclude=$excludedir  --password-file=/usr/local/rsync/conf/server.pass  $src [email protected]$host4::$dst4
fi
rm -rf $src"rsync.txt"

好我们来测试下

touch rsync.txt
touch test.html

然后运行脚本,到各个服务器上看看,是不是都有了。这样的话,如果你把代码发到10上,没有rsync.txt就不会同步,那么这是测试可以进行线上测试,等测试好了,开发就上传一个rsync.txt 然后就开始同步了

 

当然了,这里还可以搞得更复杂,比如安全起见,一些配置文件不要让它同步以免某天你发错了把本地的给发上去了,还可以指定那些目录不同步,等等,这些都可以实现,只不过shell写的复杂一点而已

 

以上是关于rsync实现负载均衡集群文件同步,搭建线上测试部署环境的主要内容,如果未能解决你的问题,请参考以下文章

mysql+mycat搭建稳定高可用集群,负载均衡,主备复制,读写分离

RabbitMQ---集群,Haproxy+Keepalive 实现高可用负载均衡,Federation Exchange和Federation Queue

ansible剧本 一键执行负载均衡+Keepalived+web集群+mysql+redis+NFS+Rsync数据同步+Prometheus+Grafana监控数控库和web集群

mysql+myca搭建稳定高可用集群,负载均衡,主备复制,读写分离

关于Nginx负载均衡目录同步问题

MYSQL-CLUSTER-7.5搭建数据库集群