Redis + keepalived 高可用群集搭建

Posted 2020-09-07

本次实验环境介绍：

　　操作系统：

　　　　Centos 7.3 IP : 192.168.10.10

　　　　Centos 7.3 IP : 192.168.10.20

　　　　  VIP    地址   : 192.168.10.254

　　软件版本介绍：

　　　　redis : redis-3.2.8　　　　　　　　　　下载链接： http://download.redis.io/releases/redis-3.2.8.tar.gz

　　　　keepalived : keepalived-1.2.10　　　  下载链接： http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

　　环境基本简介：

　　　　本次 实验环境用的是keepalived 做的高可用，并且做到了应用级别的高可用，意思就是说不管是主机 或者 应用程序任何一个宕掉后，都可以切换节点到从服务器上。并且         当主节点再次启动也不会因为再次切换节点到主服务器上。redis 做的一主一丛模式，大家有需求可以任意更改节点，因为redis 可以实现树形结构的主备，本次实验模式是当主         的挂掉后，从节点接替主节点工作，并自动切换为master 角色，依次类推。

　　　　废话不多说了，大家想学习理论知识自行百度。

本次实验步骤:

　　master and slave : 安装keepalived

1、安装依赖包

　　yum -y install gcc openssl openssl-devel libnl* libpopt*

2、配置编译

　　shell> cd /usr/local/src

　　shell> wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

　　shell> tar -zxf keepalived-1.2.10.tar.gz

　　shell> cd keepalived-1.2.10

　　shell> ./configure --prefix=/usr/local/keepalived

　　shell> make && make install

　　shell> mkdir /etc/keepalived

　　shell> cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

　　sehll> cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

　　shell> cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

　　shell> chkconfig --add  keepalived

　　sehll> chkconfig keepalived on

　　shell> mv /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

　　shell> systemctl start keepalived

#至此keepalived 安装完成

　　master and slave : 安装 redis

1、解包

　　cd /usr/local/src

　　tar zxf redis-3.2.8.tar.gz

2、编译，没有配置一说，然后编译安装

　　cd redis-3.2.8/deps

　　make geohash-int hiredis jemalloc linenoise lua

　　cd .. 

　　make && make install

3、使用脚本安装启动服务

　　utils/install_server.sh

　　安装过程中可以自定义路径，本人是一路Enter 键走过去的。

#至此redis 安装完成

以上为软件安装部分,下面是配置部分。

　　首先配置keepalived master

　　1、编辑keepalived 主配置文件

　　　　vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
   router_id redis100　　　#route_id 标识　　　　　　　　　　　　　　　　　　　
}
vrrp_script chk_redis
{
     script "/etc/keepalived/scripts/redis_check.sh 127.0.0.1 6379"　　　　#redis 健康检查状态脚本
     interval 2　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    #健康状态检查时间间隔 单位秒
     timeout 2                                                            #请求超时时间　　　　 单位秒
     fall 3　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   #失败次数
}
vrrp_instance redis {
     state MASTER 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   #master set to SLAVE also
     interface eno16777736　　　　　　　　　　　　　　　　　　　　　　　　       #网卡名称，需要用那个网卡当作出口流量
     virtual_router_id 50　　　　　　　　　　　　　　　　　　　　　　　　　　　　 #Route_id 号 跟slave需要一样
     priority  150　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   #优先级设置，只需要比backup的优先级高即可
     nopreempt 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 # no seize,must add
     advert_int 1
authentication {   　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    #all node must same
         auth_type PASS　　　　　　　　　　　　　　　　　　　　　　　　　　　     #验证类型
         auth_pass 1111　　　　　　　　　　　　　　　　　　　　　　　　　　　     #验证密码
    }

    virtual_ipaddress {
        192.168.10.254　　　　　　　　　　　　　　　　　　　　　　　　　　　　    #VIP飘逸地址，需要跟外界通信的地址
    }
    track_script {
         chk_redis　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   #检查刚才定义的选项，chk_redis
    }
     notify_master "/etc/keepalived/scripts/redis_master.sh 127.0.0.1 192.168.10.254 6379"　　　　#当keepalived 切换到master的时候执行此脚本
     notify_backup "/etc/keepalived/scripts/redis_backup.sh 127.0.0.1 192.168.10.254 6379"　　　　#当keepalived 切换到bakcup的时候执行此脚本
     notify_fault /etc/keepalived/scripts/redis_fault.sh　　　　　　　　　　　　　　　　　　　　　　　　#当keepalived 出现故障的时候执行此脚本
     notify_stop /etc/keepalived/scripts/redis_stop.sh　　　　　　　　　　　　　　　　　　　　　　　　  #当keepalived 停止运行前执行此脚本
}

 

      然后配置 eepalived backup

　　1、编辑主配置文件

　　　 vim /etc/keepalived/keepalived.conf　　

! Configuration File for keepalived
global_defs {
   router_id redis101　　　　　　#route_id标识，需要跟master 不一样
}
vrrp_script chk_redis
{
     script "/etc/keepalived/scripts/redis_check.sh 127.0.0.1 6379"
     interval 2
     timeout 2
     fall 3
}
vrrp_instance redis {
    state BACKUP　　　　　　　　 #backup的标识，需要用过大写书写
    interface eno16777736
    virtual_router_id 50
    priority  100　　　　　　　　#优先级要低于MASTER即可
    advert_int 1　　
authentication {   #all node must same
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.10.254
    }
    track_script {
         chk_redis
    }
    notify_master "/etc/keepalived/scripts/redis_master.sh 127.0.0.1 192.168.10.254 6379"
    notify_backup "/etc/keepalived/scripts/redis_backup.sh 127.0.0.1 192.168.10.254 6379"
    notify_fault /etc/keepalived/scripts/redis_fault.sh
    notify_stop /etc/keepalived/scripts/redis_stop.sh
}

 

上边的配置文件中所提到的脚本都是一样的只需要更改参数即可，如何更改下面又详细的介绍。此操作需要在MASTER and BACKUP 同时操作

　　上边写的五个脚本需要放在/etc/keepalived/scripts/目录下，大家也可以自定义脚本位置。

　　第一个脚本 redis_check.sh   #有些参数可能需要大家根据自身的配置更改，例如：路径、密码、等。。。

 1 #!/bin/bash 
 2 ALIVE=`/usr/local/bin/redis-cli -a 123456 -h $1 -p $2 PING`　　　　　　　#redis-cli命令所在路径，根据自己配置更改，可用用which redis-cli命令查看路径。-a  后面跟的是redis的密码 “123456”
 3 LOGFILE="/var/log/keepalived-redis-check.log"
 4 echo "[CHECK]" >> $LOGFILE
 5 date >> $LOGFILE
 6 if [ $ALIVE == "PONG" ]; then :
 7    echo "Success: redis-cli -h $1 -p $2 PING $ALIVE" >> $LOGFILE 2>&1
 8    exit 0
 9 else
10    echo "Failed:redis-cli -h $1 -p $2 PING $ALIVE " >> $LOGFILE 2>&1
11    exit 1
12 fi

 

　　第二个脚本 redis_master.sh #有些参数可能需要大家根据自身的配置更改，例如：路径、密码、等。。。

 1 #!/bin/bash
 2 REDISCLI="/usr/local/bin/redis-cli -a 123456 -h $1 -p $3"      　　　　#redis-cli命令所在路径，根据自己配置所更改，-a 后面的密码也要根据自己的设置而更改，更改方法在上面已经提到过了。       
 3 LOGFILE="/var/log/keepalived-redis-state.log"
 4 echo "[master]" >> $LOGFILE
 5 date >> $LOGFILE
 6 echo "Being master...." >> $LOGFILE 2>&1
 7 echo "Run SLAVEOF cmd ... " >> $LOGFILE
 8 $REDISCLI SLAVEOF $2 $3 >> $LOGFILE  2>&1
 9 #echo "SLAVEOF $2 cmd can‘t excute ... " >> $LOGFILE 
10 sleep 10 ##delay 15 s wait data sync exchange role
11 echo "Run SLAVEOF NO ONE cmd ..." >> $LOGFILE
12 $REDISCLI SLAVEOF NO ONE >> $LOGFILE 2>&1

 

 　　第三个脚本 redis_backup.sh #有些参数可能需要大家根据自身的配置更改，例如：路径、密码、等。。。

 1 #!/bin/bash 
 2 REDISCLI="/usr/local/bin/redis-cli"　　　　　　　　　　　　　　　　　　　　#设置redis-cli的命令所在路径即可
 3 LOGFILE="/var/log/keepalived-redis-state.log"
 4 echo "[BACKUP]" >> $LOGFILE
 5 date >> $LOGFILE
 6 echo "Being slave...." >> $LOGFILE 2>&1
 7 echo "Run SLAVEOF cmd ..." >> $LOGFILE 2>&1
 8 $REDISCLI SLAVEOF $2 $3 >> $LOGFILE
 9 sleep 100 #delay 10 s wait data async cancel sync 
10 exit(0)

 

 　　第四个脚本 redis_fault.sh

1 #!/bin/bash 
2 LOGFILE=/var/log/keepalived-redis-state.log
3 echo "[fault]" >> $LOGFILE
4 date >> $LOGFILE

　　第五个脚本 redis_stop.sh

1 #!/bin/bash 
2 LOGFILE=/var/log/keepalived-redis-state.log
3 echo "[stop]" >> $LOGFILE
4 date >> $LOGFILE

 

 　　至此：完成对keepalived 的所有配置。现在重启一下即可完成对redis 的高可用，但是虽然实现了高可用，但是还有一个问题没有解决掉，就是数据同步问题，master 挂掉后，从节点接替主节点，但是从节点并没有主节点的缓存，所以轻则重新同步缓存到服务器上，重责大胆的人可以一试。

 

然后配置 master redis 的配置文件

　　vim /etc/redis/6379.conf

　　修改 bind 0.0.0.0

　　修改 masterauth 123456    认证密码

　　设定文件，指定Master

slaveof 192.168.10.20 6379    　指定master的ip和port
masterauth 123456　　　　        master有验证的情况下
slave-read-only yes             设置slave为只读模式

 

 

然后配置 backup redis 的配置文件

　　vim /etc/redis/6379.conf

　　修改 bind 0.0.0.0

　　修改 masterauth 123456    认证密码

　　设定文件，指定Master

slaveof 192.168.10.10 6379    　指定master的ip和port
masterauth 123456　　　　        master有验证的情况下
slave-read-only yes             设置slave为只读模式

 

 至此redis 就配置完成了

 

附加提示

启动redis 命令

redis-server /etc/redis/6379.conf

停止redis 命令

netstat -anpt | grep redis

kill  进程号

验证redis 的主从复制和keepalived 的高可用

首先使用redis 客户端连接进来，然后分别连接master 、backup 、VIP 地址

　　1、使用console 控制台连接，键入命令 INFO replication 查看是否是master or slave

　　2、键入数据查看备用节点是否同步数据

　　3、模仿故障，关闭redis 进程，看看节点是否进行切换VIP是否正常连接

　　4、发挥你的特长，自由检查

至此，本篇文档完结。

有写的错的，不好的，希望大神们可以指正，也可以互相交流交流。欢迎大家留言，评论，爱你们@@@