使用 Sentinel 实现 Redis 集群高可用部署

Posted 2021-08-17 笨小孩@GF 知行合一

Redis 概述

• Redis 的出现时间并不长，是 NoSQL 中的一种，基于键-值型的存储，在 2009 年第一次发布 Redis。
• Redis 全称（Remote Dictionary Server）远程字典服务器，而这个字典服务器从本质上来讲，主要是提供数据结构的远程存储功能的，可以理解为 Redis 是一个高级的 K-V 存储和数据结构存储，因为 Redis除了能够存储 K-V 这种简单的数据之外，还能够存储，列表、字典、hash 表、等对应的数据结构。
• Redis 支持主从模式，Redis 能够借助于 Sentinel 工具来监控主从节点，当主节点发生故障时，会自
• 己提升另外一个从节点成为新的主节点。 sentinel [ˈsentɪnl] 哨兵
• Redis 官网：https://redis.io 

Redis 所支持的数据类型

• 支持存储的数据类型有、String（字符串，包含整数）, List（列表）, Hash（关联数组）, Sets（集合）, Sorted Sets（有序集合）, Bitmaps（位图）, HyperLoglog
• Redis 性能评估
• 100 万较小的键存储字符串，大概消耗 100M 内存
• 由于 Redis 是单线程，如果服务器主机上有多个 CPU，只有一个能够使用，但并不意味着 CPU 会成为瓶颈，因为 Redis 是一个比较简单的 K-V 数据存储，CPU 通常不会成为性能瓶颈
• 在常见的 linux 服务器上，500K（50 万）的并发，只需要一秒钟处理，如果主机硬件较好的情况下，每秒钟可以达到上百万的并发
• Redis 与 Memcache 对比
• Memcache 只能使用内存来缓存对象，若要持久化，需要第三方插件的支持。而 Redis 除了可以使用内存来缓存对像，还可以周期性的将数据保存到磁盘上，对数据进行永久存储。当服务器突然断电或死机后， redis 基于磁盘中的数据进行恢复。
• Redis 是单线程服务器，只有一个线程来响应所有的请求。Memcache 是多线程的
• Redis 支持更多的数据类型

• 试验环境

• 系统统一使用   CentOS 7.6   防火墙、iptables以及 SElinux 均为关闭状态
• 192.168.2.23    c7_2_23_redis1     Master
• 192.168.2.24    c7_2_24_redis2     Slave1
• 192.168.2.25    c7_2_25_redis3     Slave2

• 使用 Remi repository 源安装 redis

• 扩展：Remi repository 是什么源？
  Remi repository 是包含最新版本 php 和 mysql 包的 Linux 源，由 Remi 提供维护。有了这个源之后，使用 YUM 安装或更新 PHP、MySQL、phpMyAdmin 等服务器相关程序的时候就非常方便了。但与此同时，Remi 源也提供了目前最新版本的 Redis，可以通过该源使用 YUM 安装目前最新版本的 Redis。
• 在安装 Remi repository 源时，需要依赖 epel 源，因此先安装 epel 源
• 这里使用 aliyun 的源

• Remi repository 官网：http://rpms.remirepo.net/enterprise/ 

• 分别在3台服务器上安装 Remi repository 源

• yum -y install  http://rpms.remirepo.net/enterprise/remi-release-7.rpm
• 查看 源文件 
• yum repolist all
• 使用 remi repository 源安装 Redis
  yum --enablerepo=remi install -y redis
• 注：/etc/yum.repos.d/remi.repo 源安装完成后，默认为disabled，使用--enablerepo=remi 选项指定使用 remi repository 源进行安装。
• 查看 Redis 版本
  redis-cli --version

• 启动 Redis
• systemctl enable redis.service --now
• redis 默认端口为 6379

• Redis 基本操作

• Redis 配置文件参数说明
• Redis 配置文件存放路径：/etc/redis.conf
  vim /etc/redis.conf              #配置文件中主要参数如下
  改：69 bind 127.0.0.1
  为：69 bind 0.0.0.0         #redis 监听的地址，默认监听在 127.0.0.1 地址上，改为 0.0.0.0 地址或192.168.2.23

以下内容，保持不变，大家可以了解一下，每个配置的含意：
protected-mode yes    #参数是为了禁止外网访问 redis，如果启用了，则只能够通过 lookback ip（127.0.0.1）访问 Redis。
port 6379                     #默认监听端口：6379。
tcp-backlog 511          #指定 tcp-backlog 的长度。backlog 是一个等待队列。当有大量请求需要redis 处理时，redist 有可能处理不过来，需要等待的请求队列会通过 backlog 来缓存。backlog 的数量决定了可以缓存的队列数。
unixsocket /tmp/redis.sock         #指定使用 sock 文件通信及 sock 文件位置，如果服务端和客户都在同一台主机上，建议打开此项，基于 sock 方式通信可以直接在内存中交换，数据不用再经过 TCP/TP 协议栈进行封装、拆封。
unixsocketperm 700       #定义 sock 文件的访问权限。
timeout 0                        #表示当客户端连接成功后，空闲（非活跃、或没有任何数据交互）多长时间则连接超时，0 表示不启用此功能。
tcp-keepalive 300          #定义是否启用 tcp-keepalive 功能。长链接功能。
daemonize no               #如果需要在后台运行，把该项改为 yes。如果使用 redis 服务脚本启动，即使daemonize 为 no，也会运行为一个守护进程。
supervised no               #定义是 upstart 还是 systemd 接管 redis 进程。默认无监督互动，不需要修改。
loglevel notice               #定义日志级别。
logfile /var/log/redis/redis.log      #定义日志文件。
databases 16                             #定义 redis 默认有多少个 databases，但是在分布式中，只能使用一个。
# masterauth <master-password>     #如果连接主数据库时需要密码验证，在这里指定密码。默认不启用。
# 限制同时连接的客户端数量。超过数量将不再接受新的请求并返回错误信息。
# maxclients 10000          #设置同时连接 redis 客户端的最大数量。  

• 登录 Redis
• redis-cli 
• 选项：
• -h <hostname> 指定主机 IP -p <port> 指定端口 socket 文件进行通信。
• redis-cli -h 127.0.0.1                     #连接 redis，默认不启用密码认证。
• 127.0.0.1:6379> exit                    #退出连接。
• 或：
• redis-cli                             #使用 redis-cli 直接连接，默认连接是 127.0.0.1 IP。 
• Redis 字符串(String)操作
  键的命名规则遵循
  1．可以使用 ASCII 字符
  2．键的长度不要过长，键的长度越长则消耗的空间越多
  3．在同一个库中（名称空间），键的名称不得重复，如果复制键的名称，实际上是修改键中的值
  4．在不同的库中（名称空间），键的多种名称可以重复
  5．键可以实现自动过期
• 设置键 system 的值为 centos
• 127.0.0.1:6379> set system centos
  OK
  127.0.0.1:6379> get system
  "centos"

• 定义一个键 name 值为 zhangsan，并设置过期时间为 60 秒。
  127.0.0.1:6379> set name zhangsan EX 60

• 开启 redis 用户认证服务
  vim /etc/redis.conf
  改：507 # requirepass foobared   #启用此项，并指定密码即可。
  为：507 requirepass 123456        #指定密码为 123456。
  
  systemctl restart redis                   #重启服务。
• edis-cli
  127.0.0.1:6379> get name
  (error) NOAUTH Authentication required.
  127.0.0.1:6379> auth 123456
  OK
  127.0.0.1:6379> get name
  (nil)
  127.0.0.1:6379> get system
  "centos"
  127.0.0.1:6379> 
  redis-cli -a 123456
  Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
  127.0.0.1:6379> get system
  "centos"
  127.0.0.1:6379> 

配置 Redis 持久化

• redis 持久化概述
• Redis 工作时所有数据集都是存储于内存中的，如果 Redis 崩溃或断电导致所有数据丢失，所以 Redis提供了持久化功能来保证数据的可靠性
• Redis 持久化有两种实现方法：RDB 和 AOF
• RDB: 存储为二进制格式的数据文件，是默认启动的持久化机制；按事先定制的策略，周期性地将数据保存至磁盘。
• AOF：Append Only File 类似于 MySQL 的二进制日志，记录每一次 redis 的写操作命令，以顺序 IO 方式附加在指定文件的尾部，是使用追加方式实现的，这也叫做一种附加日志类型的持久化机制。
• 由于每一次的操作都记录，则会随着时间长而增大文件的容量，并且有些记录的命令是多余的。但是 redis 进程能够自动的去扫描这个对应的 AOF 文件，把其中一些冗余的操作给合并一个，以实现将来一次性把数据恢复。
• 总结：AOF 记录操作命令，RDB 是直接保存数据集的本身。

• 配置文件中的与 RDB 相关的参数

• vim /etc/redis.conf            #默认参数就够用了。
• stop-writes-on-bgsave-error yes    #在进行快照备份时，一旦发生错误的话是否停止。
• rdbcompression yes    #RDB 文件是否使用压缩，压缩会消耗 CPU。
• rdbchecksum yes       #是否对 RDB文件做校验码检测，此项定义在 redis 启动时加载 RDB文件是否对文件检查校验码，在 redis 生成 RDB 文件是会生成校验信息，在 redis 再次启动或装载 RDB 文件时，是否检测校验信息。如果检测的情况下会消耗时间，会导致 redis 启动时慢，但是能够判断 RDB 文件是否产生错误。
• dbfilename dump.rdb   #定义 RDB 文件的名称。
• dir /var/lib/redis            #定义 RDB 文件存放的目录路径。

• 注意：持久化本身不能取代备份；还应该制定备份策略，对 redis 数据库定期进行备份。

• vim /var/lib/redis/dump.rdb         #可查看到数据已经保存在磁盘上

---

• 搭建 Redis 主从复制架构 

• 主从复制的工作过程
  Redis 的主从复制是自动进行的，并不需要用户的介入，slave 端会自动连接 master 并进行数据同步。如果同步连接时 slave 端短暂的与 master 端断开了连接，那连接恢复后 slave 端会与 master 端进行一次同步。从而保证数据一致。
• Redis 主从同步数据流程如下图： 

• master 不需要特别配置保证能正常运行即可
• 只需要在 slave1 和 2 上配置
• vim /etc/redis.conf
  replicaof 192.168.2.23 6379     master  的 IP 以及端口
  masterauth 123456                   master  密码，如果没有密码可以不设置
  requirepass 123456

• 登录   master   2.23  查看主从复制状态
•  info replication

• redis-cli -a 123456
  Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
  127.0.0.1:6379> info replication
  # Replication
  role:master                          角色 master
  connected_slaves:2            slave 数量 2 个
  slave0:ip=192.168.2.24,port=6379,state=online,offset=0,lag=0        slave  1   信息
  slave1:ip=192.168.2.25,port=6379,state=online,offset=0,lag=0        slave  2   信息
  master_failover_state:no-failover
  master_replid:9f270ccf6277aa3b5652f0216d1953f4dcd0ec47
  master_replid2:0000000000000000000000000000000000000000
  master_repl_offset:0
  second_repl_offset:-1
  repl_backlog_active:1
  repl_backlog_size:1048576
  repl_backlog_first_byte_offset:1
  repl_backlog_histlen:0
  127.0.0.1:6379>

• redis-cli -a 123456
  Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
  127.0.0.1:6379> info replication
  # Replication
  role:slave                                角色 slave 
  master_host:192.168.2.23     mster IP地址
  master_port:6379                   master 端口
  master_link_status:up           状态 UP 为已经同步
  master_last_io_seconds_ago:2
  master_sync_in_progress:0
  slave_repl_offset:406
  slave_priority:100
  slave_read_only:1                  成为从服务以后，1 表示该服务器为只读。
  replica_announced:1
  connected_slaves:0
  master_failover_state:no-failover
  master_replid:ac49e447d70bee8f57428b1d35391150e0dfba74
  master_replid2:0000000000000000000000000000000000000000
  master_repl_offset:406
  second_repl_offset:-1
  repl_backlog_active:1
  repl_backlog_size:1048576
  repl_backlog_first_byte_offset:407
  repl_backlog_histlen:0
  127.0.0.1:6379> 

---

•  测试

• 在 master 端 创建一个 user 键

• 在 slave 端 查看

• 可以查看到键值，说明主从数据同步成功。 

• 查看 redis 从服务器上有关主从复制的高级配置参数

• /etc/redis.conf                          #保持默认参数就可以，不需要修改
  #### SNAPSHOTTING #### #定义快照存储的策略，定义存到硬盘的持久化策略。
  save <seconds> <changes>    #使用 save 指令，并指定每隔多少秒，如果发生多大变化，进行存储。
  save 900 1                    #表示在 900 秒（15 分钟内），如果至少有 1 个键发生改变，则做一次快照（持久化）
  save 300 10                 #表示在 300 秒（5 分钟内），如果至少有 10 个键发生改变，则做一次快照（持久化）
  save 60 10000             #表示在 60 秒（1 分钟内），如果至少有 10000 个键发生改变，则做一次快照（持久化）。
  replica-serve-stale-data yes      #当 slave 端在主从复制的过程中与 master 端断开了连接，此时有 2 种处理方法：一种是继续提供服务即使数据可能不是最新的，另一种是对请求返回一个错误信息，默认配置是继续提供服务。replica [ˈreplɪkə] 复制品 ； stale [steɪl] 不新鲜的
  replica-read-only yes                #redis 从只读。自 redis 2.6 版本开始，slave 端默认为 readonly
  repl-diskless-sync no                #默认不使用 diskless 同步方式 。
  扩展：主从同步支持两种策略，即 disk 和 socket 方式（socket 方式尚不完善，还处于实验阶段）。
  新的 slave 端和重连的 salve 端不允许去继续同步进程，这被称之为“完全同步”。
• 一个 RDB 文件从 master 端传到 slave 端，分为两种情况：
• 支持 disk：master 端将 RDB file 写到 disk，稍后再传送到 slave 端；
• 无磁盘 diskless：master 端直接将 RDB file 传到 slave socket，不需要与 disk 磁盘进行交互。
• 无磁盘 diskless 方式适合磁盘读写速度慢但网络带宽非常高的环境。

repl-diskless-sync-delay 5      #无磁盘 diskless 方式在进行数据传递之前会有一个时间的延迟，以便 slave 端能够进行到待传送的目标队列中，这个时间默认是 5 秒 。
repl-ping-replica-period 10      #slave 端向 server 端发送 pings 的时间区间设置，默认为10 秒
repl-timeout 60                    #设置超时时间

repl-disable-tcp-nodelay no     #是否启用 TCP_NODELAY，如果启用则会使用少量的 TCP包和带宽去进行数据传输到 slave 端，当然速度会比较慢；如果不启用则传输速度比较快，但是会占用比较多的带宽。
repl-backlog-size 1mb      #设置 backlog 的大小，backlog 是一个缓冲区，在 slave 端失连时存放要同步到 slave 的数据，因此当一个 slave 要重连时，经常是不需要完全同步的，执行局部同步就足够了。backlog 设置的越大，slave 可以失连的时间就越长。
repl-backlog-ttl 3600    #如果一段时间后没有 slave 连接到 master，则 backlog size 的内存将会被释放。如果值为 0 则表示永远不释放这部份内存。 默认是 3600 秒
replica-priority 100      #slave 端的优先级设置，值是一个整数，数字越小表示优先级越高。当master 故障时将会按照优先级来选择 slave 端进行恢复，如果值设置为 0，则表示该 slave 永远不会被选择。
min-replicas-to-write 3
min-replicas-max-lag 10     #这两行的意思是，设置当一个 master 端的可用 slave 少于 N个，延迟时间大于 M 秒时，不接收写操作。

当 master 可用的从服务器少于 3 个或网络延迟时间大于 10 秒时，master 将拒绝接收用户的写请求

---

• 使用 Sentinel 实现 Redis 集群高可用部署

• redist 主从架构中，如果主服务器离线，那么所有写操作操作则无法执行。为了避免此情况发生，redis 引入了 sentinel（哨兵）机制，当 redis 主挂了，redis 从可以主动变成主。
• Sentinel 概述和工作过程
  Sentinel 作用：检测 Master 状态，如果 Master 异常，则会进行 Master-Slave 切换，将其中一个 Slave 作为 Master，将之前的 Master 作为 Slave 。当 Master-Slave 切换后，master-redis.conf、slave-redis.conf 和 sentinel.conf 的内容都会发生改变，即 master-redis.conf 中会多一行 slaveof 的配置，sentinel.conf 的监控目标会随之调换
• Sentinel 工作方式
  Sentinel 是 Redis 官方提供的一种高可用方案（除了 Sentinel，Redis Cluster 是另一种方案），它可以自动监控 Redis master/slave 的运行状态，如果发现 master 无法访问了，就会启动 failover 把其中一台可以访问的 slave 切换为 master。
• 支持 Sentinel 的 Redis 客户端（例如 Java 的 Jedis）会在连接 Redis 服务器的时候向 Sentinel 询问 master 的 ip，并且会在收到 master 切换的 pub/sub 事件后自动重新连接到新的 master。对调用Redis 客户端的业务系统来说，这些都是完全透明的。
• 下图是 redis sentinel 的部署和运行机制 ： 

• 扩展：redis 主观下线和客观下线
  主观下线：Subjectively Down，简称 SDOWN，指的是当前 Sentinel 实例对某个 redis 服务器做出的下线判断。 Subjectively [səb'dʒektɪvlɪ] 主观地
  客观下线：Objectively Down， 简称 ODOWN，指的是多个 Sentinel 实例在对 Master Server做出 SDOWN 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server 下线判断，然后开启 failover。 Objectively [əb'dʒektɪvlɪ] 客观地

• 使用 Sentinel 实现 Redis 集群高可用部署 

• 修改 /etc/redis.conf
• 首先在  192.168.2.23  master 端
• 取消 密码认证
• protected-mode no      #关闭 protected-mode，允许外网访问 redis 服务器。
• /etc/redis.conf
  bind 0.0.0.0
  protected-mode no
  #requirepass 123456
• 完整的配置文件内容
• cat /etc/redis.conf
  bind 0.0.0.0
  protected-mode no
  port 6379
  tcp-backlog 511
  timeout 0
  tcp-keepalive 300
  daemonize no
  pidfile "/var/run/redis_6379.pid"
  loglevel notice
  logfile "/var/log/redis/redis.log"
  databases 16
  always-show-logo no
  set-proc-title yes
  proc-title-template "{title} {listen-addr} {server-mode}"
  stop-writes-on-bgsave-error yes
  rdbcompression yes
  rdbchecksum yes
  dbfilename "dump.rdb"
  rdb-del-sync-files no
  dir "/var/lib/redis"
  replica-serve-stale-data yes
  replica-read-only yes
  repl-diskless-sync no
  repl-diskless-sync-delay 5
  repl-diskless-load disabled
  repl-disable-tcp-nodelay no
  replica-priority 100
  acllog-max-len 128
  maxclients 10000
  lazyfree-lazy-eviction no
  lazyfree-lazy-expire no
  lazyfree-lazy-server-del no
  replica-lazy-flush no
  lazyfree-lazy-user-del no
  lazyfree-lazy-user-flush no
  oom-score-adj no
  oom-score-adj-values 0 200 800
  disable-thp yes
  appendonly no
  appendfilename "appendonly.aof"
  appendfsync everysec
  no-appendfsync-on-rewrite no
  auto-aof-rewrite-percentage 100
  auto-aof-rewrite-min-size 64mb
  aof-load-truncated yes
  aof-use-rdb-preamble yes
  lua-time-limit 5000
  slowlog-log-slower-than 10000
  slowlog-max-len 128
  latency-monitor-threshold 0
  notify-keyspace-events ""
  hash-max-ziplist-entries 512
  hash-max-ziplist-value 64
  list-max-ziplist-size -2
  list-compress-depth 0
  set-max-intset-entries 512
  zset-max-ziplist-entries 128
  zset-max-ziplist-value 64
  hll-sparse-max-bytes 3000
  stream-node-max-bytes 4kb
  stream-node-max-entries 100
  activerehashing yes
  client-output-buffer-limit normal 0 0 0
  client-output-buffer-limit replica 256mb 64mb 60
  client-output-buffer-limit pubsub 32mb 8mb 60
  hz 10
  dynamic-hz yes
  aof-rewrite-incremental-fsync yes
  rdb-save-incremental-fsync yes
  jemalloc-bg-thread yes
  supervised systemd
  save 3600 1
  save 300 100
  save 60 10000
  user default on nopass ~* &* +@all 

---

• 接着配置 sentinel1
  vim /etc/redis-sentinel.conf

改： # protected-mode no
为： protected-mode no
port 26379 #默认，保持不变
改：daemonize no
为：daemonize yes
改：sentinel monitor mymaster 127.0.0.1 6379 2
为：sentinel monitor mymaster 192.168.2.23 6379 2
注：# sentinel monitor <master-name> <ip> <redis-port> <quorum> 每项含意如下：
<master-name>为集群名称，可以自定义，如果同时监控有多组 redis 集群时，<master-name>不能一样。
<ip> 主节点的 IP 地址，<redis-port>主节点的端口号。
<quorum>主节点对应的 quorum 法定数量，用于定义 Sentinel 的数量，是一个大于值尽量使用奇数，如果 Sentinel 有 3 个，则指定为 2 即可，如果有 4 个，不能够指定为 2，避免导致集群分裂。最后的数字 2 指定的值，表明如果有 2 个 sentinels 无法连接 master，才认为 master 挂了。quorum [ˈ kwɔ :rə m] 法定人数 
改：# sentinel down-after-milliseconds <master-name> <milliseconds> 
为：sentinel down-after-milliseconds mymaster 10000    #默认单位是毫秒，配成 10 秒
sentinel parallel-syncs mymaster 1 #保存默认parallel [ˈ pærəlel] 平行
改：sentinel failover-timeout mymaster 180000 
为：sentinel failover-timeout mymaster 60000 

• 完整配置文件
• grep -Ev "^$|^#" /etc/redis-sentinel.conf 
  protected-mode no
  port 26379
  daemonize no
  pidfile "/var/run/redis-sentinel.pid"
  logfile "/var/log/redis/sentinel.log"
  dir "/tmp"
  sentinel monitor mymaster 192.168.2.23 6379 2
  sentinel down-after-milliseconds mymaster 10000
  acllog-max-len 128
  sentinel parallel-syncs mymaster 1
  sentinel failover-timeout mymaster 60000
  sentinel deny-scripts-reconfig yes
  sentinel resolve-hostnames no
  sentinel announce-hostnames no
  supervised systemd
  user default on nopass sanitize-payload ~* &* +@all
  sentinel myid 122f3c355a5b66a7bae336baf0590573135b64c8
  sentinel config-epoch mymaster 9
  sentinel leader-epoch mymaster 9
  sentinel current-epoch 9
  sentinel known-replica mymaster 192.168.2.25 6379
  sentinel known-replica mymaster 192.168.2.24 6379
  sentinel known-sentinel mymaster 192.168.2.25 0 e69be813a0624df71c75214d5ab00527f31ae517
  sentinel known-sentinel mymaster 192.168.2.24 26379 1d06fc650b1a82b0467af2b403ae6dbdbbfe2a59
  sentinel known-sentinel mymaster 192.168.2.25 26379 122f3c355a5b66a7bae336baf0590573135b64c8

• 把 redis-sentinel.conf 发给 另外2台 slave 

• 登录 redis 查看 同步状态 信息

•  测试插入数据

• 模拟故障 停止  2.23 的 redis

• 查看日志

• 恢复 2.23

• 主 redis 还是 2.24，并不会因为 2.23 恢复成功后，就主动让出权限。 这样可以避免再次回切时，发生服务中断

• 查看 Sentinel 信息
   
• redis-cli -h 192.168.2.23 -p 26379
  192.168.2.23:26379> info sentinel
  # Sentinel
  sentinel_masters:1
  sentinel_tilt:0
  sentinel_running_scripts:0
  sentinel_scripts_queue_length:0
  sentinel_simulate_failure_flags:0
  master0:name=mymaster,status=ok,address=192.168.2.24:6379,slaves=2,sentinels=4
  192.168.2.23:26379>

• 注意：将来客户端应连接 Sentinel，向 Sentinel 发请求去寻址，并根据 Sentinel 的反馈，进行连接新的 Redis 主节点，这一点需要使用 Redis 专用客户端来实现。Redis 客户端会根据 Sentinel 返回的新节点 IP 进行连接。这一块是开发人员的事情了。如果 java 中的 JedisClient 就提供了使用 Sentinel的功能。