redis集群的搭建详细教程

Posted 2021-02-16 lywJee

1 Redis-cluster架构图

           

redis-cluster投票:容错  （至少要三个才可以，才能超过半数）

 

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

 

Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，

redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，

这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致

均等的将哈希槽映射到不同的节点

 

搭建集群，极限情况也就最多16384个节点。

 

2 Redis集群的搭建

Redis集群中至少应该有3个节点。要保证集群得高可用，需要每个节点有1个备份机。

Redis集群需要6台服务器。

搭建伪分布式。可以使用一台虚拟机允许6个redis实例。需要修改redis得端口号7001-7006

 

3  集群搭建过程

1 实例准备

 第一步：准备好1台redis服务器

【这里我使用的之前搭建好的一台服务器】

虚拟机上面安装Redis的方法，参照的是redis在Linux上的安装教程：

 第二步：在/usr/local下面创建一个集群目录

# mkdir /usr/local/redis-cluster

第三步：拷贝已经安装好的redis实例到redis-cluster目录下

 

[root@admin local]# cp -r redis/bin redis-cluster/redis01

第四步：删除拷贝的实例里面的dump.rdb 和 appendonly.aof文件。

因为本实例没有启动AOF持久化的，所以就没有appendonly.aof文件。

只用删除dump.rdb文件。

我们搭建集群的时候，每个节点应该是一个空节点，这里面不应该有数据，这个实例之前使用过，里面有数据。

搭建集群的时候防止出现问题，所以先给删除掉，保证是一个干净的节点。

[root@admin redis01]# rm -rf dump.rdb

第五步：修改配置文件中的端口号

[root@admin redis01]# vim redis.conf

将默认的6379端口修改为7001

输入wq保存并退出

第六步：修改配置文件中的启动集群

[root@admin redis01]# vim redis.conf

修改前：

修改后：

输入wq保存并退出

 

第七步：复制第六步修改完成配置文件的redis实例5份

[root@admin redis-cluster]# cp -r redis01/ redis02
[root@admin redis-cluster]# cp -r redis01/ redis03
[root@admin redis-cluster]# cp -r redis01/ redis04
[root@admin redis-cluster]# cp -r redis01/ redis05
[root@admin redis-cluster]# cp -r redis01/ redis06

 

第八步：修改redis02~redis06实例的端口号分别为7002~7006

[root@admin redis-cluster]# vim redis02/redis.conf
[root@admin redis-cluster]# vim redis03/redis.conf
[root@admin redis-cluster]# vim redis04/redis.conf
[root@admin redis-cluster]# vim redis05/redis.conf
[root@admin redis-cluster]# vim redis06/redis.conf

第九步：使用批处理启动上面的6个实例

这里也可以一个一个的启动，只是麻烦一些。

1、首先执行命令vim start-all.sh创建一个批处理文件，并编辑

[root@admin redis-cluster]# vim start-all.sh

文件的内如如下：

cd redis01
./redis-server redis.conf
cd ..
cd redis02
./redis-server redis.conf
cd ..
cd redis03
./redis-server redis.conf
cd ..
cd redis04
./redis-server redis.conf
cd ..
cd redis05
./redis-server redis.conf
cd ..
cd redis06
./redis-server redis.conf
cd ..

2、修改start-all.sh文件的权限，给当前用户所有权限

 

[root@admin redis-cluster]# chmod u+x start-all.sh

3、执行start-all.sh启动所有的6个redis实例

[root@admin redis-cluster]# ./start-all.sh

4、查看一下是否真的启动起来了

[root@admin redis-cluster]# ps -aux | grep -i redis --color

 

到这里6个节点全部配置好，并且启动起来了。

 

下面就需要把集群搭建起来，也就是把这六个节点连到一起来。

这里我们需要使用一个工具，这个工具就在我们的redis源代码的src目录下面。

执行命令切换到src目录下：

[root@admin redis-cluster]# cd /usr/local/redis-3.0.0/src

查看里面的rb文件

[root@admin src]# ll *.rb

复制Ruby脚本文件redis-trib.rb到redis-cluster目录下去

[root@admin src]# cp -r redis-trib.rb /usr/local/redis-cluster/

下面简单了解一下Ruby是什么？

 

2 集群环境的搭建

第一步：我们使用ruby脚本搭建集群，所以需要安装ruby的运行环境。

依次执行下面两条命令

# yum install ruby

中间如果出现询问输入y确认即可。

# yum install rubygems

 中间如果出现询问输入y确认即可。

第二步：安装ruby脚本运行使用的包

1.上传包到Linux服务器上

 2、将其复制到/usr/local目录下

[root@admin soft]# cp redis-3.0.0.gem /usr/local

3、安装redis-3.0.0.gem

[root@admin local]# gem install redis-3.0.0.gem

这样这个库就安装好了。

现在redis-trib.rb这个脚本就可以执行了。

 

3 使用ruby脚本搭建集群

[root@admin redis-cluster]# ./redis-trib.rb create --replicas 1 192.168.25.128:7001 192.168.25.128:7002 192.168.25.128:7003 192.168.25.128:7004 192.168.25.128:7005 192.168.25.128:7006

1 表示每个节点有一个备份机。

 因为我们是在一台服务器上面演示，ip一样只是端口不一样。执行的过程中有一个计算过程，算出来是6个节点，所以集群里面有三个节点。

如果里面只有5个ip地址列表的话，就不是整数了，会报错。所以这里一定要是偶数个节点。

 

再补充一下：如果我们真的是在六台服务器上搭建集群的话，不中和这个也是一样的。

只需要在任意一台服务器上面执行上面的搭建环境过程，

使用Ruby脚本搭建集群，但是特别需要注意的是：每台

服务器上的防火墙一定要关闭。如果没有关闭防火墙的话

在询问是否可以的时候，输入yes之后，会卡住Waiting

for the cluster to join......这里不动。

 

4 使用redis-cli连接集群

 连接集群我们使用redis提供的客户端redis-cli，连接集群中的任意节点就可以了。

[root@admin redis-cluster]# redis01/redis-cli -p 7006 -c

-c 代表连接的是redis集群。

连接从节点也是一样的。

下面测试一下：

可以看到通过计算，username定位到了14315这个哈希槽，存入的是端口7003的这台服务器。

可以看到通过计算，age定位到了741这个哈希槽，存入的是端口7001的这台服务器。

可以看到，这样数据就可以均匀的分布到每一台服务器，可以实现每个节点都有一定数量的数据。

如果主节点挂了，从节点就可以顶替工作，这也就实现了高可用。

 

特别需要注意的是：连接集群的时候需要加上 -c 参数