CentOS 7 上部署Memcached 主主复制 + keepalived 高可用架构

Posted 2020-12-25

实验环境

Memcached主主复制是指在任意一台Memcached服务器修改数据都会被同步到另外一台，但是Memcached API客户端是无法判断连接到哪一台Memcached服务器的，所以需要设置VIP地址，提供给Memcached API客户端进行连接。可以使用kcepalived产生的VIP地址连接主Memceached服务器，并且提供高可用架构。
本案例使用两台Memcahed服务器和一台测试主机来完成。

主Memcahed服务器IP：192.168.10.161
备Memcahed服务器IP：192.168.10.157
客户机IP：192.168.10.162

Memcached 主主复制架构

Memcached的复制功能支持多个Memcached之间进行相互复制(双向复制，都是可读可写的)，可以解决Memcached的容灾问题。

1、配置memcached主缓存节点和备份缓存节点，两台配置相同

解压软件包，安装编译环境包

tar xzvf memcached-1.5.6.tar.gz -C /opt/
tar zxvf libevent-2.1.8-stable.tar.gz -C /opt/

yum install gcc gcc -c++ make -y

配置安装libevent，memcached

cd /opt/libevent-2.1.8-stable/
./configure --prefix=/usr/       //指明安装路径
make && make install

cd /opt/memcached-1.5.6/   
./configure --with-libevent=/usr       //指明安装路径
make && make install

将编译安装的libevent-2.1.so.6模块复制到/usr/lib64目录下

ln -s /usr/lib/libevent-2.1.so.6 /usr/lib64/libevent-2.1.so.6

2、在memcached主缓存节点安装magent第三方插件，备份缓存节点不用做

mkdir /opt/magent     //创建magent工作目录
tar xzvf magent-0.5.tar.gz -C /opt/magent/
cd /opt/magent

vim ketama.h 

#ifndef SSIZE_MAX
#define SSIZE_MAX 32767    //修改开头注释
······
#endif

vi Makefile
LIBS = -levent -lm      //首行LIBS = -levent后加上-lm

make     //make安装
#安装完成后可使用ls查看到当前目录下有magent程序
cp magent /usr/bin/    //把生成的mgent程序复制到/usr/bin目录下让系统识别

将生成的magent程序复制到备份缓存节点中

yum install openssh-clients
scp magent [email protected]:/usr/bin/      //把产生的magent文件直接复制到备份缓存节点。

部署Memcached 主主复制 + keepalived 高可用架构

因为Memcached主主复制这种架构，在程序连接时不知道应该连接哪个主服务器，所以需要在前端加VIP地址，实现高可用架构。这里用Keepalived实现，因而Keepalived的作用是用来检测Memcached服务器的状态是否正常

Keepalived不断检测Memcached主服务器的11211端口，如果检测到Memcached服务发生宕机或者死机等情况，就会将VIP从主服务器移至从服务器，从而实现Memcached的高可用性。

1、memcached主缓存节点和备份缓存节点上安装配置keepalived并修改keepalived主配置文件

yum install keepalived -y
#修改keepalived主配置文件
vim /etc/keepalived/keepalived.conf 

router_id MAGENT_HA   //自行定义router_id，主备不同

vrrp_script magent {
        script "/opt/shell/magent.sh"
        interval 2
}                              //添加模块指定magent脚本运行路径

vrrp_instance VI_1 {
    state MASTER         //指明为主（备）缓存节点
    interface ens33         //修改网卡名称
    virtual_router_id 51       //自行指定virtual_router_id，主备不同
    priority 100        //优先级，备低于从
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
track_script {              //调用上方定义好的magent
        magent
}    
    virtual_ipaddress {          //指明VIP
        192.168.10.200
    }

方便起见，可使用如下命令将主缓存节点修改完的keepalived配置文件复制过来稍作修改

#备缓存节点上执行
cd /etc/keepalived
mv keepalived.conf keepalived.conf.bak     //重命名keepalived配置文件，备份作用
scp [email protected]:/etc/keepalived/keepalived.conf ./      //把主服务器的配置文件复制到当前目录下

2、主缓存节点上编写magent运行脚本启用，并开启keepalived服务

mkdir /opt/shell
cd /opt/shell
vi magent.sh

#!/bin/bash
K=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $K -gt 0 ]; then
        magent -u root -n 51200 -l 192.168.10.200 -p 12000 -s 192.168.10.161:11211 -b 192.168.10.157:11211
else
pkill -9 magent
fi

magent可选项注释

-n 51200   //定义用户最大连接数
-l 192.168.10.200    //指定虚拟IP
-p 12000     //指定端口号
-s   //指定主缓存服务器
-b   //指定从缓存服务器

给脚本赋予可执行权限执行，并开启keepalived服务

chmod +x magent.sh 
systemctl stop firewalld.service
setenforce 0
./magent.sh
systemctl start keepalived.service

netstat -antp | grep 12000    //确认magent运行  

3、从缓存节点上编写magent运行脚本启用，并开启keepalived服务

mkdir /opt/shell
cd /opt/shell/
vi magent.sh

#!/bin/bash
K=`ip addr | grep 192.168.10.200 | grep -v grep | wc -l`
if [ $K -gt 0 ]; then
        magent -u root -n 51200 -l 192.168.10.200 -p 12000 -s 192.168.10.161:11211 -b 192.168.10.157:11211
else
pkill -9 magent
fi  

chmod +x magent.sh
systemctl stop firewalld.service
setenforce 0
./magent.sh
systemctl start keepalived.service

netstat -antp | grep 12000  确认magent运行  比较慢

4、主缓存节点上启动memcached

memcached -m 512k -u root -d -l 192.168.10.161 -p 11211

5、从缓存节点上启动memcached

memcached -m 512k -u root -d -l 192.168.10.157 -p 11211

6、查看11211端口，确认开启

netstat -anpt | grep 11211

在客户端测试

1、安装telnet，登录添加内容

yum install telnet -y
telnet 192.168.10.200 12000 

add usename 0 0 7
1234567

2、到主，备缓存节点上登录都可查看到添加的内容

yum install telnet -y
telnet 192.168.10.200 12000

get usename

3、关掉主的keepalived服务，客户端依然能够登录查看内容

#主缓存服务器：
systemctl stop keepalived.service

#客户端
telnet 192.168.10.200 12000

get usename