Redis + keepalived 高可用群集搭建

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis + keepalived 高可用群集搭建相关的知识,希望对你有一定的参考价值。

本次实验环境介绍:

  操作系统:

    Centos 7.3 IP : 192.168.10.10

    Centos 7.3 IP : 192.168.10.20

      VIP    地址   : 192.168.10.254

  软件版本介绍:

    redis : redis-3.2.8          下载链接: http://download.redis.io/releases/redis-3.2.8.tar.gz

    keepalived : keepalived-1.2.10     下载链接: http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

  环境基本简介:

    本次 实验环境用的是keepalived 做的高可用,并且做到了应用级别的高可用,意思就是说不管是主机 或者 应用程序任何一个宕掉后,都可以切换节点到从服务器上。并且         当主节点再次启动也不会因为再次切换节点到主服务器上。redis 做的一主一丛模式,大家有需求可以任意更改节点,因为redis 可以实现树形结构的主备,本次实验模式是当主         的挂掉后,从节点接替主节点工作,并自动切换为master 角色,依次类推。

    废话不多说了,大家想学习理论知识自行百度。

本次实验步骤:

  master and slave : 安装keepalived

1、安装依赖包

  yum -y install gcc openssl openssl-devel libnl* libpopt*

2、配置编译

  shell> cd /usr/local/src

  shell> wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

  shell> tar -zxf keepalived-1.2.10.tar.gz

  shell> cd keepalived-1.2.10

  shell> ./configure --prefix=/usr/local/keepalived

  shell> make && make install

  shell> mkdir /etc/keepalived

  shell> cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

  sehll> cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

  shell> cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

  shell> chkconfig --add  keepalived

  sehll> chkconfig keepalived on

  shell> mv /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

  shell> systemctl start keepalived

#至此keepalived 安装完成

  master and slave : 安装 redis

1、解包

  cd /usr/local/src

  tar zxf redis-3.2.8.tar.gz

2、编译,没有配置一说,然后编译安装

  cd redis-3.2.8/deps

  make geohash-int hiredis jemalloc linenoise lua

  cd .. 

  make && make install

3、使用脚本安装启动服务

  utils/install_server.sh

  安装过程中可以自定义路径,本人是一路Enter 键走过去的。

#至此redis 安装完成

以上为软件安装部分,下面是配置部分。

  首先配置keepalived master

  1、编辑keepalived 主配置文件

    vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
   router_id redis100   #route_id 标识                   
}
vrrp_script chk_redis
{
     script "/etc/keepalived/scripts/redis_check.sh 127.0.0.1 6379"    #redis 健康检查状态脚本
     interval 2                                    #健康状态检查时间间隔 单位秒
     timeout 2                                                            #请求超时时间     单位秒
     fall 3                                      #失败次数
}
vrrp_instance redis {
     state MASTER                                   #master set to SLAVE also
     interface eno16777736                               #网卡名称,需要用那个网卡当作出口流量
     virtual_router_id 50                             #Route_id 号 跟slave需要一样
     priority  150                                  #优先级设置,只需要比backup的优先级高即可
     nopreempt                                    # no seize,must add
     advert_int 1
authentication {                                     #all node must same
         auth_type PASS                                #验证类型
         auth_pass 1111                                #验证密码
    }

    virtual_ipaddress {
        192.168.10.254                                #VIP飘逸地址,需要跟外界通信的地址
    }
    track_script {
         chk_redis                                  #检查刚才定义的选项,chk_redis
    }
     notify_master "/etc/keepalived/scripts/redis_master.sh 127.0.0.1 192.168.10.254 6379"    #当keepalived 切换到master的时候执行此脚本
     notify_backup "/etc/keepalived/scripts/redis_backup.sh 127.0.0.1 192.168.10.254 6379"    #当keepalived 切换到bakcup的时候执行此脚本
     notify_fault /etc/keepalived/scripts/redis_fault.sh                        #当keepalived 出现故障的时候执行此脚本
     notify_stop /etc/keepalived/scripts/redis_stop.sh                          #当keepalived 停止运行前执行此脚本
}

 

      然后配置 eepalived backup

  1、编辑主配置文件

    vim /etc/keepalived/keepalived.conf  

! Configuration File for keepalived
global_defs {
   router_id redis101      #route_id标识,需要跟master 不一样
}
vrrp_script chk_redis
{
     script "/etc/keepalived/scripts/redis_check.sh 127.0.0.1 6379"
     interval 2
     timeout 2
     fall 3
}
vrrp_instance redis {
    state BACKUP         #backup的标识,需要用过大写书写
    interface eno16777736
    virtual_router_id 50
    priority  100        #优先级要低于MASTER即可
    advert_int 1  
authentication {   #all node must same
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.10.254
    }
    track_script {
         chk_redis
    }
    notify_master "/etc/keepalived/scripts/redis_master.sh 127.0.0.1 192.168.10.254 6379"
    notify_backup "/etc/keepalived/scripts/redis_backup.sh 127.0.0.1 192.168.10.254 6379"
    notify_fault /etc/keepalived/scripts/redis_fault.sh
    notify_stop /etc/keepalived/scripts/redis_stop.sh
}

 

上边的配置文件中所提到的脚本都是一样的只需要更改参数即可,如何更改下面又详细的介绍。此操作需要在MASTER and BACKUP 同时操作

  上边写的五个脚本需要放在/etc/keepalived/scripts/目录下,大家也可以自定义脚本位置。

  第一个脚本 redis_check.sh   #有些参数可能需要大家根据自身的配置更改,例如:路径、密码、等。。。

 1 #!/bin/bash 
 2 ALIVE=`/usr/local/bin/redis-cli -a 123456 -h $1 -p $2 PING`       #redis-cli命令所在路径,根据自己配置更改,可用用which redis-cli命令查看路径。-a  后面跟的是redis的密码 “123456”
 3 LOGFILE="/var/log/keepalived-redis-check.log"
 4 echo "[CHECK]" >> $LOGFILE
 5 date >> $LOGFILE
 6 if [ $ALIVE == "PONG" ]; then :
 7    echo "Success: redis-cli -h $1 -p $2 PING $ALIVE" >> $LOGFILE 2>&1
 8    exit 0
 9 else
10    echo "Failed:redis-cli -h $1 -p $2 PING $ALIVE " >> $LOGFILE 2>&1
11    exit 1
12 fi

 

  第二个脚本 redis_master.sh #有些参数可能需要大家根据自身的配置更改,例如:路径、密码、等。。。

 1 #!/bin/bash
 2 REDISCLI="/usr/local/bin/redis-cli -a 123456 -h $1 -p $3"          #redis-cli命令所在路径,根据自己配置所更改,-a 后面的密码也要根据自己的设置而更改,更改方法在上面已经提到过了。       
 3 LOGFILE="/var/log/keepalived-redis-state.log"
 4 echo "[master]" >> $LOGFILE
 5 date >> $LOGFILE
 6 echo "Being master...." >> $LOGFILE 2>&1
 7 echo "Run SLAVEOF cmd ... " >> $LOGFILE
 8 $REDISCLI SLAVEOF $2 $3 >> $LOGFILE  2>&1
 9 #echo "SLAVEOF $2 cmd can‘t excute ... " >> $LOGFILE 
10 sleep 10 ##delay 15 s wait data sync exchange role
11 echo "Run SLAVEOF NO ONE cmd ..." >> $LOGFILE
12 $REDISCLI SLAVEOF NO ONE >> $LOGFILE 2>&1

 

   第三个脚本 redis_backup.sh #有些参数可能需要大家根据自身的配置更改,例如:路径、密码、等。。。

 1 #!/bin/bash 
 2 REDISCLI="/usr/local/bin/redis-cli"                    #设置redis-cli的命令所在路径即可
 3 LOGFILE="/var/log/keepalived-redis-state.log"
 4 echo "[BACKUP]" >> $LOGFILE
 5 date >> $LOGFILE
 6 echo "Being slave...." >> $LOGFILE 2>&1
 7 echo "Run SLAVEOF cmd ..." >> $LOGFILE 2>&1
 8 $REDISCLI SLAVEOF $2 $3 >> $LOGFILE
 9 sleep 100 #delay 10 s wait data async cancel sync 
10 exit(0)

 

   第四个脚本 redis_fault.sh

1 #!/bin/bash 
2 LOGFILE=/var/log/keepalived-redis-state.log
3 echo "[fault]" >> $LOGFILE
4 date >> $LOGFILE

  第五个脚本 redis_stop.sh

1 #!/bin/bash 
2 LOGFILE=/var/log/keepalived-redis-state.log
3 echo "[stop]" >> $LOGFILE
4 date >> $LOGFILE

 

   至此:完成对keepalived 的所有配置。现在重启一下即可完成对redis 的高可用,但是虽然实现了高可用,但是还有一个问题没有解决掉,就是数据同步问题,master 挂掉后,从节点接替主节点,但是从节点并没有主节点的缓存,所以轻则重新同步缓存到服务器上,重责大胆的人可以一试。

 

然后配置 master redis 的配置文件

  vim /etc/redis/6379.conf

  修改 bind 0.0.0.0

  修改 masterauth 123456    认证密码

  设定文件,指定Master

slaveof 192.168.10.20 6379     指定master的ip和port
masterauth 123456            master有验证的情况下
slave-read-only yes             设置slave为只读模式

 

 

然后配置 backup redis 的配置文件

  vim /etc/redis/6379.conf

  修改 bind 0.0.0.0

  修改 masterauth 123456    认证密码

  设定文件,指定Master

slaveof 192.168.10.10 6379     指定master的ip和port
masterauth 123456            master有验证的情况下
slave-read-only yes             设置slave为只读模式

 

 至此redis 就配置完成了

 

附加提示

启动redis 命令

redis-server /etc/redis/6379.conf

停止redis 命令

netstat -anpt | grep redis

kill  进程号

验证redis 的主从复制和keepalived 的高可用

首先使用redis 客户端连接进来,然后分别连接master 、backup 、VIP 地址

  1、使用console 控制台连接,键入命令 INFO replication 查看是否是master or slave

  2、键入数据查看备用节点是否同步数据

  3、模仿故障,关闭redis 进程,看看节点是否进行切换VIP是否正常连接

  4、发挥你的特长,自由检查

至此,本篇文档完结。

有写的错的,不好的,希望大神们可以指正,也可以互相交流交流。欢迎大家留言,评论,爱你们@@@

 

以上是关于Redis + keepalived 高可用群集搭建的主要内容,如果未能解决你的问题,请参考以下文章

keepalived+Haproxy搭建高可用Web群集

LVS+Keepalived 搭建高可用群集(DR模式)

Redis + keepalived 高可用群集搭建

搭建:LVS+Keepalived高可用Web服务群集环境

DR+keepalived实现web群集的负载均衡和高可用性

LVS + Keepalived 搭建高可用的负载均衡群集