redis集群的搭建

Posted 2020-12-04

redis集群的搭建

本文使用的是3台主机，每台主机2个节点，3台maser,3台salve的环境。

1. 环境介绍：

3台CentOS release 6.9服务器

  192.168.1.35
  192.168.1.36
  192.168.1.37

redis-4.0.9.tar.gz 
ruby-2.4.4.tar.gz

2. 软件安装

安装redis:

本文中的环境默认是不能连接外网的。所以软件包只能通过跳板机或者其他的机器通过scp上传。 
编译安装:

tar -xf redis-4.0.9.tar.gz 
mkdir -p /usr/local/redis    
mv redis-4.0.9/* /usr/local/redis/
cd /usr/local/redis/
make && make install

创建redis节点：

mkdir -p redis_cluster/{7000,7001}
cp redis.conf redis_cluster/7000
cp redis.conf resis_cluster/7001

分别修改7000/7001里面的配置文件的内容：

port 7000           //端口7000,7001
bind  192.168.1.35  //改为35,36,37
daemonize yes     //redis后台运行
pidfile /var/run/redis_7000.pid     //pid对应7000,7001
cluster-enabled yes   //开启集群
cluster-config-file  nodes_7000.conf   //指定集群的配置文件，自动生成
cluster-node-timeout 15000  //设置集群超时时间
appendonly  yes        //aof日志开启，它会每次写操作都记录一条日志

在另外的两台机器上重复上面的配置规则 
启动各个节点（另外两台也是同样地）： 
redis-server redis_cluster/7000/redis.conf 
redis-server redis_cluster/7001/redis.conf

查看各个节点是否起来：
$ ss -tnlp|grep redis
 LISTEN 0 511 192.168.1.35:17000 *:* users:(("redis-server",24909,9))
 LISTEN 0 511 192.168.1.35:17001 *:* users:(("redis-server",24914,9))
 LISTEN 0 511 192.168.1.35:7000 *:* users:(("redis-server",24909,6))
 LISTEN 0 511 192.168.1.35:7001 *:* users:(("redis-server",24914,6))

安装ruby:

tar -xf  ruby-2.4.4.tar.gz 
cd ruby-2.4.4
./configure --prefix=/usr/local/ruby
make && make install 
 /usr/local/ruby/bin/gem install redis

或者

安装gem和redis的插件（https://rubygems.global.ssl.fastly.net/gems/redis-3.2.2.gem）
# gem install -l redis-3.2.2.gem

3. 集群创建

redis-trib.rb是redis官方推出的redis集群管理的工具，这个工具在redis的src目录下。

/usr/local/ruby/bin/ruby /usr/local/redis/src/redis-trib.rb create --replicas 1 192.168.1.35:7000 192.168.1.35:7001 192.168.1.36:7000 192.168.1.36:70001 192.168.1.37:7000 192.168.1.37:7001

--replicas：指定每个主节点有几个从节点
注意：需要有3个或者以上的主节点，否则在创建集群是会失败，并且存活的主节点数小于总节点数的一半时，整个集群就无法提供服务了。
原理：redis cluster在设计的时候，就考虑到了去中心化去中间件，就是说，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。  Redis 集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们set一个key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set 和 get 的时候，直接跳转到了7000端口的节点。  Redis 集群会把数据存在一个 master 节点，然后在这个 master 和其对应的salve 之间进行数据同步。当读取数据时，也根据一致性哈希算法到对应的 master 节点获取数据。只有当一个master 挂掉之后，才会启动一个对应的 salve 节点，充当 master 。

4.集群验证：

可以通过随便在一台机器上创建数据来验证整个集群。

通过redis-cli命令来登陆
$ redis-cli -h 192.168.1.35 -c -p 7000
192.168.1.37:7000> set hello world
-> Redirected to slot [866] located at 192.168.1.35:7000
OK
192.168.1.35:7000> keys *
1) "hello"

然后登陆另外一台的7000端口，查看key的内容。

$ redis-cli -h 192.168.1.36 -c -p 7000
192.168.1..36:7000> get hello
-> Redirected to slot [866] located at 192.168.1.35:7000
"world"
192.168.1.35:7000>

如果其他节点可以读取得到就说明集群运行正常。

5.redis集群管理工具redis-trib.rb

redis-trib.rb是redis官方推出的管理redis集群的工具，集成在redis的源码src目录下，是基于redis提供的集群命令封装成简单、便捷、实用的操作工具。 
redis-trib.rb的功能参数：

Usage: redis-trib <command> <options> <arguments ...>
  create host1:port1 ... hostN:portN
              --replicas <arg>
  check host:port
  info host:port
  fix host:port
                  --timeout <arg>
  reshard host:port
                  --from <arg>
                  --to <arg>
                  --slots <arg>
                  --yes
                  --timeout <arg>
                  --pipeline <arg>
  rebalance host:port
                  --weight <arg>
                  --auto-weights
                  --use-empty-masters
                  --timeout <arg>
                  --simulate
                  --pipeline <arg>
                  --threshold <arg>
  add-node new_host:new_port existing_host:existing_port
                  --slave
                  --master-id <arg>
  del-node host:port node_id
  set-timeout host:port milliseconds
  call host:port command arg arg .. arg
  import host:port
                  --from <arg>
                  --copy
                  --replace
  help (show this help)
    For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node     in   the cluster.

简单来看：redis-trib.rb提供了以下的功能：

create	创建集群
check	检查集群
info	查看集群信息
fix	修复集群
reshard	在线迁移集群
rebalance	平衡集群节点的slot数量
add-node	将节点加入新的集群
del-node	从集群中删除节点
set-timout	设置集群节点间的心跳连接超时时间
call	在集群全部节点上执行命令
import	将外部的redis数据导入集群

create创建集群：

可选参数为replicas，表示需要几个slave。 
简单用法：

ruby redis-trib.rb create 192.168.1.20:7000 192.168.1.21:7000 192.168.1.22:7000

有一个从节点的创建命令：

ruby redis-trib.rb create  --replicas 1 192.168.1.20:7000 192.168.1.21:7000 192.168.1.22:7000 192.168.1.23:7000 192.168.1.24:7000 192.168.1.25:7000

创建流程如下： 
1、首先为每个节点创建ClusterNode对象，包括连接每个节点。检查每个节点是否为独立且db为空的节点。执行load_info方法导入节点信息。 
2、检查传入的master节点数量是否大于等于3个。只有大于3个节点才能组成集群。 
3、计算每个master需要分配的slot数量，以及给master分配slave。分配的算法大致如下： 先把节点按照host分类，这样保证master节点能分配到更多的主机中。 不停遍历遍历host列表，从每个host列表中弹出一个节点，放入interleaved数组。直到所有的节点都弹出为止。 master节点列表就是interleaved前面的master数量的节点列表。保存在masters数组。 计算每个master节点负责的slot数量，保存在slots_per_node对象，用slot总数除以master数量取整即可。 遍历masters数组，每个master分配slots_per_node个slot，最后一个master，分配到16384个slot为止。 接下来为master分配slave，分配算法会尽量保证master和slave节点不在同一台主机上。对于分配完指定slave数量的节点，还有多余的节点，也会为这些节点寻找master。分配算法会遍历两次masters数组。 第一次遍历masters数组，在余下的节点列表找到replicas数量个slave。每个slave为第一个和master节点host不一样的节点，如果没有不一样的节点，则直接取出余下列表的第一个节点。 第二次遍历是在对于节点数除以replicas不为整数，则会多余一部分节点。遍历的方式跟第一次一样，只是第一次会一次性给master分配replicas数量个slave，而第二次遍历只分配一个，直到余下的节点被全部分配出去。 
4、打印出分配信息，并提示用户输入“yes”确认是否按照打印出来的分配方式创建集群。 
5、输入“yes”后，会执行flush_nodes_config操作，该操作执行前面的分配结果，给master分配slot，让slave复制master，对于还没有握手（cluster meet）的节点，slave复制操作无法完成，不过没关系，flush_nodes_config操作出现异常会很快返回，后续握手后会再次执行flush_nodes_config。 
6、给每个节点分配epoch，遍历节点，每个节点分配的epoch比之前节点大1。 
7、节点间开始相互握手，握手的方式为节点列表的其他节点跟第一个节点握手。 
8、然后每隔1秒检查一次各个节点是否已经消息同步完成，使用ClusterNode的get_config_signature方法，检查的算法为获取每个节点cluster nodes信息，排序每个节点，组装成node_id1:slots|node_id2:slot2|...的字符串。如果每个节点获得字符串都相同，即认为握手成功。 
9、此后会再执行一次flush_nodes_config，这次主要是为了完成slave复制操作。 
10、最后再执行check_cluster，全面检查一次集群状态。包括和前面握手时检查一样的方式再检查一遍。确认没有迁移的节点。确认所有的slot都被分配出去了。 
11、至此完成了整个创建流程，返回[OK]

check检查集群

使用check来检查集群的状态。只需要选择其中的一个节点即可：

$ /usr/local/ruby/bin/ruby /usr/local/redis/src/redis-trib.rb check 192.168.1.36:7000
>>> Performing Cluster Check (using node 192.168.1.36:7000)
M: 631e3b56a0895f5ac62b15ad7467752877d8079e 1192.168.1.36:7000
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: d35e7bd3a31054b96dfe2d08d7472731753d6ceb 192.168.1.37:7000
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
M: 06fbb8062252b78093d4ef50188199a580bb86bd 192.168.1.35:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 4e26eac416d32421800f91f78a9df070aa7d0855 192.168.1.35:7001
   slots: (0 slots) slave
   replicates d35e7bd3a31054b96dfe2d08d7472731753d6ceb
S: 8090354b1b3575ae1e331841964c6c33c55897da 192.168.1.37:7001
   slots: (0 slots) slave
   replicates 631e3b56a0895f5ac62b15ad7467752877d8079e
S: 0909bb82f88e0755bab3bc06f1cc3b4325c2a869 192.168.1.36:7001
   slots: (0 slots) slave
   replicates 06fbb8062252b78093d4ef50188199a580bb86bd
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

info查看集群的信息

info命令用来查看集群的信息，同样只需要指定一个节点即可：

/usr/local/ruby/bin/ruby /usr/local/redis/src/redis-trib.rb info 192.168.1.36:7000
192.168.1.36:7000 (631e3b56...) -> 1 keys | 5462 slots | 1 slaves.
192.168.1.37:7000 (d35e7bd3...) -> 0 keys | 5461 slots | 1 slaves.
192.168.1.35:7000 (06fbb806...) -> 1 keys | 5461 slots | 1 slaves.
[OK] 2 keys in 3 masters.
0.00 keys per slot on average.

fix修复集群：

fix命令的流程跟check的流程很像，显示加载集群信息，然后在check_cluster方法内传入fix为 true的变量，会在集群检查出现异常的时候执行修复流程。目前fix命令能修复两种异常，一种是集群有处于迁移中的slot的节点，一种是slot未完全分配的异常。 
fix_open_slot方法是修复集群有处于迁移中的slot的节点异常： 
1、先检查该slot是谁负责的，迁移的源节点如果没完成迁移，owner还是该节点。没有owner的slot无法完成修复功能。 
2、遍历每个节点，获取哪些节点标记该slot为migrating状态，哪些节点标记该slot为importing状态。对于owner不是该节点，但是通过cluster countkeysinslot获取到该节点有数据的情况，也认为该节点为importing状态。 
3、如果migrating和importing状态的节点均只有1个，这可能是迁移过程中redis-trib.rb被中断所致，直接执行move_slot继续完成迁移任务即可。传递dots和fix为true。 
4、如果migrating为空，importing状态的节点大于0，那么这种情况执行回滚流程，将importing状态的节点数据通过move_slot方法导给slot的owner节点，传递dots、fix和cold为true。接着对importing的节点执行cluster stable命令恢复稳定。 
5、如果importing状态的节点为空，有一个migrating状态的节点，而且该节点在当前slot没有数据，那么可以直接把这个slot设为stable。 
6、如果migrating和importing状态不是上述情况，目前redis-trib.rb工具无法修复，上述的三种情况也已经覆盖了通过redis-trib.rb工具迁移出现异常的各个方面，人为的异常情形太多，很难考虑完全。 fix_slots_coverage方法能修复slot未完全分配的异常： 
未分配的slot有三种状态: 
1、所有节点的该slot都没有数据。该状态redis-trib.rb工具直接采用随机分配的方式，并没有考虑节点的均衡。本人尝试对没有分配slot的集群通过fix修复集群，结果slot还是能比较平均的分配，但是没有了连续性，打印的slot信息非常离散。 
2、有一个节点的该slot有数据。该状态下，直接把slot分配给该slot有数据的节点。 
3、有多个节点的该slot有数据。此种情况目前还处于TODO状态，不过redis作者列出了修复的步骤，对这些节点，除第一个节点，执行cluster migrating命令，然后把这些节点的数据迁移到第一个节点上。清除migrating状态，然后把slot分配给第一个节点。

reshard在线迁移slot:

reshard命令可以在线把集群的一些slot从集群原来slot负责节点迁移到新的节点，利用reshard可以完成集群的在线横向扩容和缩容。 
reshard的参数介绍:

reshard        host:port   指定从哪个节点获取集群的信息
                     --from        需要从哪些节点上迁移slot。--from all 所有节点
                     --to        slot需要迁移的目的节点node id
                     --slots    需要迁移的slot数量
                     --yes    设置该参数，会提示输入yes后再执行reshard
                     --timeout  设置migrate命令的超时时间
                     --pipeline    定义cluster getkeysinslot一次取出的key数量，默认为10

参考文献 
redis集群教程 
redis集群规范 
https://redis.io/topics/cluster-spec 
https://redis.io/topics/cluster-tutorial