Redis服务的主从复制哨兵Cluster

Posted 2022-03-08 归咎

一、Redis主从复制

1.概念

• 通过持久化功能，redis保证了即使在服务器重启也不会丢失（或少量丢失）数据，因为持久化会把内存中的数据保存到硬盘上，重启会从硬盘上加载数据，但是由于数据时储存在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。
• 为了避免单点故障，通常的做法是将数据复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务，为此，redis提供了复制功能，可以实现当一台数据库中的数据更新后，自动将更新的数据同步到其他数据库上。
• 在复制的概念中，数据库分为两类，一类是主数据库（master），另一类是从数据库（slave）。主数据可以进行读写操作，当写操作导致数据变化时，会自动将数据同步给从数据库，而从数据库一般是只读的并接受主数据同步过来的数据，一个主数据库可以拥有多个从数据库，而一个从数据库只能拥有一个主数据库。

2.主从复制流程

• 第一步：若启动一个Slave机器进程，则它会向Master机器发送一个“sync command”命令，请求同步连接。
• 第二步：无论是第一次连接还是重新连接，Master机器都会启动一个后台进程，将数据快照保存到数据文件中（执行rdb操作），同时Master还会记录修改数据的所有命令并缓存在数据文件中。
• 第三步：后台进程完成缓存操作之后，Maste机器就会向Slave机器发送数据文件，Slave端机器将数据文件保存到硬盘上，然后将其加载到内存中，接着Master机器就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机，则恢复正常后会自动重新连接。
• 第四步：Master机器收到Slave端机器的连接后，将其完整的数据文件发送给Slave端机器，如果Mater同时收到多个Slave发来的同步请求，则Master会在后台启动一个进程以保存数据文件，然后将其发送给所有的Slave端机器，确保所有的Slave端机器都正常。

3.Redis主从复制的作用

• ==数据冗余==：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
• ==故障恢复==：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
• ==负载均衡==：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
• ==高可用基石==：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

4.Redis主从复制的搭建

==环境配置==	主机	操作系统	IP地址	安装包
Master	CentOS7	192.168.93.18	redis-5.0.7.tar.gz
Slave1	CentOS7	192.168.93.19	redis-5.0.7.tar.gz
Slave2	CentOS7	192.168.93.20	redis-5.0.7.tar.gz

①、给三台主机配置主机名并关闭防火墙

---

②、给所有主机安装Redis

Redis的安装之前的博客有详细说明，这里不在详细演示

---

③、修改Master节点Redis配置文件

Master

vim /etc/redis/6379.conf
#70行，修改bind 项，0.0.0.0监听所有网段
bind 0.0.0.0
#137行，开启守护进程
daemonize yes
#172行，指定日志文件目录
logfile /var/log/redis_6379.log
#264行，指定工作目录
dir /var/lib/redis/6379
#700行，开启AOF持久化功能
appendonly yes

/etc/init.d/redis_6379 restart

---

④、修改Slave节点Redis配置文件

slave1：192.168.93.19
slave2：192.168.93.20

vim /etc/redis/6379.conf
#70行，修改bind 项，0.0.0.0监听所有网卡
bind 0.0.0.0
#137行，开启守护进程
daemonize yes
#172行，指定日志文件目录
logfile /var/log/redis_6379.log
#264行，指定工作目录
dir /var/lib/redis/6379
#288行，指定要同步的Master节点IP和端口
replicaof 192.168.93.18 6379
#700行，开启AOF持久化功能
appendonly yes

/etc/init.d/redis_6379 restart

---

⑤、验证主从效果

1. 在master节点上看日志
   
   2.在Master节点上验证从节点
   

二、哨兵模式

1、哨兵模式集群架构

哨兵是Redis集群架构中非常重要的一个组件，哨兵的出现主要是解决了主从复制出现故障时需要人为 干预的问题

2、哨兵模式主要功能

【1】集群监控：负责监控 Redis master 和 slave 进程是否正常工作
【2】消息通知：如果某个 Redis 实例出现故障，那么哨兵负责发送消息作为报警通知给管理员
【3】故障转移：如果 master node 挂掉了，会自动转移到 slave node 上
【4】配置中心：如果故障转移发生了，通知 client 客户端习新的 master 地址

3、哨兵模式的原理

哨兵(sentinel)：是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的 Master 并将所有 Slave 连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。

4、哨兵模式的结构

哨兵结构由两部分组成，==哨兵节点==和==数据节点==：

• 哨兵节点：哨兵系统由一个或多个哨兵节点组成，哨兵节点是特殊的redis节点，不存储数据。
• 数据节点：主节点和从节点都是数据节点。

5、搭建哨兵模式

==在之前搭建好的一主两从3个节点上都进行操作==

vim /opt/redis-5.0.7/sentinel.conf
#17行，关闭保护模式
protected-mode no
#21行，Redis哨兵默认的监听端口
port 26379
#26行，指定sentinel为后台启动
daemonize yes
#36行，指定日志存放路径
logfile "/var/log/sentinel.log"
#65行，指定数据库存放路径
dir "/var/lib/redis/6379"
#84行，修改 指定该哨兵节点监控192.168.163.10:6379这个主节点，该主节点的名称是mymaster，最后的2的含义与主节点的故障判定有关：至少需要2个哨兵节点同意，才能判定主节点故障并进行故障转移
sentinel monitor mymaster 192.168.163.10 6379 2
#113行，判定服务器down掉的时间周期，默认30000毫秒（30秒）
sentinel down-after-milliseconds mymaster 30000
#146行，故障节点的最大超时时间为180000（180秒）
sentinel failover-timeout mymaster 180000

启动哨兵模式
==注意：先启master，再启slave==



查看哨兵模式信息

三、Redis 群集模式

1、概述

• redis的哨兵模式基本已经可以实现高可用、读写分离，但是在这种模式，每台redis服务器都存储相同的数据，很浪费内存资源，所以加入了 Cluster 群集模式，实现了redis的分布式存储，也就是说，每台redis节点存储着不同的内容
• 群集部署建议至少3台以上的master节点，建议使用3主3从六个节点的模式
• Cluster 群集由多个redis服务器组成的分布式网络服务群集，群集中有多个master主节点，每个主节点都可读可写，节点之间会互相通信，两两相连，redis群集无中心节点

2、集群的作用

①、数据分区

数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

②、高可用

集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

3、Redis集群的数据分片

• Redis集群引入了哈希槽的概念
• Redis集群有16384个哈希槽（编号0-16383）
• 集群的每个节点负责一部分哈希槽
• 每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作