Redis 主从复制机制(集群)与 哨兵机制

Posted pickknow

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis 主从复制机制(集群)与 哨兵机制相关的知识,希望对你有一定的参考价值。

1,什么是redis 主从复制

支持多个数据库之间的数据同步。只能一个主数据库(master),可以一个或者多个从数据库(slave)

主数据库,可以读写

从数据库,只可以读

当主数据库,做写的操作的时候,写完,redis会从给数据库发送信号,并将数据信息发送给从数据库,从数据库备份。

过程:
1:当一个从数据库启动时,会向主数据库发送sync命令,
2:主数据库接收到sync命令后会开始在后台保存快照(执行rdb操作),并将保存期间接收到的命令缓存起来
3:当快照完成后,redis会将快照文件和所有缓存的命令发送给从数据库。
4:从数据库收到后,会载入快照文件并执行收到的缓存的命令。

2,当主数据据宕机了,怎么办?

  主数据库,宕机之后,会在从数据库中从数据库(slave)中推举一个数据库,作为master 数据库

3,如何知道主数据库宕机?

   哨兵机制:

Redis的哨兵(sentinel) 系统用于管理多个 Redis 服务器,该系统执行以下三个任务:
·        监控(Monitoring): 哨兵(sentinel) 会不断地检查你的Master和Slave是否运作正常。
·        提醒(Notification):当被监控的某个 Redis出现问题时, 哨兵(sentinel) 可以通过 API 向管理员或者其他应用程序发送通知。
·        自动故障迁移(Automatic failover):当一个Master不能正常工作时,哨兵(sentinel) 会开始一次自动故障迁移操作,它会将失效Master的其中一个Slave升级为新的Master, 并让失效Master的其他Slave改为复制新的Master; 当客户端试图连接失效的Master时,集群也会向客户端返回新Master的地址,使得集群可以使用Master代替失效Master。
哨兵(sentinel) 是一个分布式系统,你可以在一个架构中运行多个哨兵(sentinel) 进程,这些进程使用流言协议(gossipprotocols)来接收关于Master是否下线的信息,并使用投票协议(agreement protocols)来决定是否执行自动故障迁移,以及选择哪个Slave作为新的Master.
每个哨兵(sentinel) 会向其它哨兵(sentinel)、master、slave定时发送消息,以确认对方是否”活”着,如果发现对方在指定时间(可配置)内未回应,则暂时认为对方已挂(所谓的”主观认为宕机” Subjective Down,简称sdown).
若“哨兵群”中的多数sentinel,都报告某一master没响应,系统才认为该master"彻底死亡"(即:客观上的真正down机,Objective Down,简称odown),通过一定的vote算法,从剩下的slave节点中,选一台提升为master,然后自动修改相关配置.
虽然哨兵(sentinel) 释出为一个单独的可执行文件 redis-sentinel ,但实际上它只是一个运行在特殊模式下的 Redis 服务器,你可以在启动一个普通 Redis 服务器时通过给定 --sentinel 选项来启动哨兵(sentinel).
哨兵(sentinel) 的一些设计思路和zookeeper非常类似

4,单个哨兵和主从复制的架构图

技术图片

5,配置主从复制

192.168.178.110  (master)

192.168.178.112(slave)

192.168.178.115  (slave)

三台电脑正常安装配置redis 之后,slave 需要如下配置

vi /usr/local/redis/etc/redis.conf slaveof 192.168.178.110 6379 masterauth 123456--- 主redis服务器配置了密码,则需要配置
两台都是这样配置

配置完成之后,主redis 

set name ‘chris‘

两台从redis get name 可以获得值,且没有写入的权力

6,配置哨兵

192.168.178.110  (master)

192.168.178.112(slave)

192.168.178.115  (slave)

192.168.178.115  (sentinel) 哨兵

在哨兵的redis 服务器配置如下:

1.拷贝到etc目录
cp sentinel.conf  /usr/local/redis/etc
2.修改sentinel.conf配置文件
sentinel monitor mymast  192.168.110.133 6379 1  #主节点 名称 IP 端口号 选举次数
sentinel auth-pass mymaster 123456  
3. 修改心跳检测 30毫秒
sentinel down-after-milliseconds mymaster 30
4.sentinel parallel-syncs mymaster 2 --- 做多多少合格节点
5. 启动哨兵模式
./redis-server /usr/local/redis/etc/sentinel.conf --sentinel &

启动哨兵之前,先将主redis,从redis 依次启动;

哨兵的日志如下:可以看出主从关系

10687:X 02 Aug 22:51:03.405 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
10687:X 02 Aug 22:51:03.407 # Sentinel ID is 37ac433a3cdc235ae1326987feb3f13909612f84
10687:X 02 Aug 22:51:03.407 # +monitor master mymaster 192.168.178.110 6379 quorum 1
10687:X 02 Aug 22:51:03.409 * +slave slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:51:03.413 * +slave slave 192.168.178.115:6379 192.168.178.115 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:51:03.463 # +sdown slave 192.168.178.115:6379 192.168.178.115 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:51:03.463 # +sdown slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:51:03.521 # -sdown slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379

在master 或者 slave 的服务器上打印info 也可以看出主从关系

7 测试

将192.168.178.110 shutdown

# Keyspace
127.0.0.1:6379> SHUTDOWN
not connected> 

哨兵已经选出新的master redis

10687:X 02 Aug 22:54:36.822 # +sdown master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.822 # +odown master mymaster 192.168.178.110 6379 #quorum 1/1
10687:X 02 Aug 22:54:36.822 # +new-epoch 1
10687:X 02 Aug 22:54:36.822 # +try-failover master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.825 # +vote-for-leader 37ac433a3cdc235ae1326987feb3f13909612f84 1
10687:X 02 Aug 22:54:36.825 # +elected-leader master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.825 # +failover-state-select-slave master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.926 # +selected-slave slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.926 * +failover-state-send-slaveof-noone slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:36.985 * +failover-state-wait-promotion slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:37.879 # +promoted-slave slave 192.168.178.112:6379 192.168.178.112 6379 @ mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:37.879 # +failover-state-reconf-slaves master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:37.932 # +failover-end master mymaster 192.168.178.110 6379
10687:X 02 Aug 22:54:37.932 # +switch-master mymaster 192.168.178.110 6379 192.168.178.112 6379
10687:X 02 Aug 22:54:37.932 * +slave slave 192.168.178.115:6379 192.168.178.115 6379 @ mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.932 * +slave slave 192.168.178.110:6379 192.168.178.110 6379 @ mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.990 # +sdown master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.990 # +odown master mymaster 192.168.178.112 6379 #quorum 1/1
10687:X 02 Aug 22:54:37.990 # +new-epoch 2
10687:X 02 Aug 22:54:37.990 # +try-failover master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.993 # +vote-for-leader 37ac433a3cdc235ae1326987feb3f13909612f84 2
10687:X 02 Aug 22:54:37.993 # +elected-leader master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.993 # +failover-state-select-slave master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.993 # +sdown slave 192.168.178.110:6379 192.168.178.110 6379 @ mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:37.994 # +sdown slave 192.168.178.115:6379 192.168.178.115 6379 @ mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:38.095 # -failover-abort-no-good-slave master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:38.172 # Next failover delay: I will not start a failover before Fri Aug  2 23:00:38 2019
10687:X 02 Aug 22:54:38.900 # -sdown master mymaster 192.168.178.112 6379
10687:X 02 Aug 22:54:38.900 # -odown master mymaster 192.168.178.112 6379

两次推选,192.168.178.112 被选为master

再次看192,168.178.112 的info 为master

 

以上是关于Redis 主从复制机制(集群)与 哨兵机制的主要内容,如果未能解决你的问题,请参考以下文章

Redis 主从复制机制(集群)与 哨兵机制

redis如何实现高可用主从复制哨兵机制

redis主从复制及哨兵机制

redis主从复制及哨兵机制

redis主从复制及哨兵机制

Redis集群故障监测及哨兵机制原理解析