Redis-Cluster

Posted 2023-05-03

参考技术A

是一种去中心化的集群架构

Redis Cluster 的性能与单节点部署是同级别的。
多主节点、负载均衡、读写分离

Redis Cluster 支持标准的 主从复制配置来保障高可用和高可靠。
failover （故障转移）
Redis Cluster 也实现了一个类似 Raft 的共识方式，来保障整个集群的可用性。

向 Redis Cluster 中添加新节点，或者移除节点，都是透明的，不需要停机。
水平、垂直方向都非常容易扩展。
数据分区，海量数据存储

部署 Redis Cluster 不需要其他的代理或者工具，而且 Redis Cluster 和单机 Redis 几乎完全兼
容。

角色： master、slave

Redis Cluster 由多个Redis节点组构成，是一个P2P（point to point）无中心节点的集群架构，依靠Gossip协议传播集群

Gossip协议是一个通信协议，一种传播消息的方式。

思想启发于：病毒传播

这些收到信息的节点接下来会做同样的事情，即把这些信息传递给其他一些随机选择的节点。

信息会周期性的传递给N个目标节点。这个N被称为fanout（扇出）

gossip协议包含多种消息，包括meet、ping、pong、fail、publish等等

通过gossip协议，cluster可以提供 集群间状态同步更新 、 选举自助failover 等重要的集群功能。

分布式架构设计中，核心问题即为如何分片数据。在技术的更替中出现过以下分布式hash算法：

redis-cluster把所有的物理节点映射到[0-16383]个slot上,基本上采用平均分配和连续分配的方式。

slot槽必须在节点上连续分配，如果出现不连续的情况，则RedisCluster不能工作。

采用 raft 协议（参照Paxos算法 https://www.jianshu.com/p/40c658c9dcc2 ）

当slave 收到过半的master 同意时，会成为新的master。此时会以最新的Epoch 通过PONG 消息广播自己成为master，让Cluster 的其他节点尽快的更新拓扑结构(node.conf)。

就是上面讲的从节点选举

人工故障切换是预期的操作，而非发生了真正的故障，目的是以一种安全的方式(数据无丢失)将当前master节点和其中一个slave节点(执行cluster-failover的节点)交换角色

1、向从节点发送cluster failover 命令（slaveof no one）
2、从节点告知其主节点要进行手动切换（CLUSTERMSG_TYPE_MFSTART）
3、主节点会阻塞所有客户端命令的执行（10s）
4、从节点从主节点的ping包中获得主节点的复制偏移量
5、从节点复制达到偏移量，发起选举、统计选票、赢得选举、升级为主节点并更新配置
6、切换完成后，原主节点向所有客户端发送moved指令重定向到新的主节点

以上是在主节点在线情况下。

如果主节点下线了，则采用cluster failover force或cluster failover takeover 进行强制切换。

扩容
扩容节点数据必须为空

缩容
只能删除数据为空的节点

我们知道在一主一从的情况下，如果主从同时挂了，那整个集群就挂了。
为了避免这种情况我们可以做一主多从，但这样成本就增加了。
Redis提供了一种方法叫副本漂移，这种方法既能提高集群的可靠性又不用增加太多的从机。

Master1宕机，则Slaver11提升为新的Master1
集群检测到新的Master1是单点的（无从机）
集群从拥有最多的从机的节点组（Master3）中，选择节点名称字母顺序最小的从机（Slaver31）漂移
到单点的主从节点组(Master1)。

具体流程如下（以上图为例）：
1、将Slaver31的从机记录从Master3中删除
2、将Slaver31的的主机改为Master1
3、在Master1中添加Slaver31为从节点
4、将Slaver31的复制源改为Master1
5、通过ping包将信息同步到集群的其他节点

Redis-cluster安装

1、安装前准备

redis cluster的安装的环境准备，请先回顾单机版安装流程Redis单机安装(生产环境配置) 在每台服务器上装备好Redis实例。
本次安装准备三台服务器搭建三主个节点，三个从节点：

序号	IP	端口
1	172.17.73.230	7001
2	172.17.73.230	7002
3	172.17.73.232	7003
4	172.17.73.232	7004
5	172.17.73.233	7005
6	172.17.73.233	7006

2、编写配置文件

redis cluster 集群，要求至少3个master,去组成一个高可用，健壮的分布式集群，每个master都建议至少给一个slave,3个master,3个slave最少要求。

正式环境下，建议在6台服务器上搭建，至少3台。

保证每个master都和自己slave不在同一台服务器上，如果6台更好，一个master + slave.

本次3台服务器搭建6个实例的redis cluster

创建目录：

mkdir -p /etc/redis-cluster
mkdir -p /var/log/redis
mkdir -p /var/redis/log

redis.confg 修改

port 7001

cluster-enabled yes

cluster-config-file /etc/redis-cluster/node-7001.conf

cluster-node-timeout 15000

daemonize yes

pidfile /var/run/redis_7001.pid

dir /var/redis/7001

logfile /var/log/redis/7001.log

#本级IP
bind 172.17.73.230 

protected-mode no 

appendonly yes

按照上面的配置修改将六个实例的配置文件准备好后分别copy到对应服务器的位置：

/etc/redis
7001.conf,7002.conf,7003.conf,7004.conf,7005.conf,7006.conf

准备生产环境的启动脚本：
在以下目录下分别存放对应的启动脚本

/etc/init.d/
redis_7001、redis_7002、redis_7003、redis_7004、redis_7005、redis_7006

分别在启动六个redis实例

3、创建集群

redis-cli --cluster create  172.17.73.230:7001 172.17.73.230:7002 172.17.73.232:7003 172.17.73.232:7004 172.17.73.233:7005 172.17.73.233:7006  --cluster-replicas 1

提示输入yes即可：

到这本次集群搭建就完成了。