redis-cluster 遇到CLUSTERDOWN Hash slot not served问题

Posted 2023-04-19

参考技术A redis 解决CLUSTERDOWN Hash slot not served 问题，核心原因是redis集群中有节点未加入到集群中，或是加入集群的时候有问题，修复的办法是：
通过redis-trib.rb fix将集群修复即可，

使用docker搭建redis-cluster环境

目录

• 基础环境信息
• 搭建步骤
• 搭建中遇到的问题
• 其他参考

? ? 临时接到一个测试任务，而测试需要用到redis-cluster环境，却没有现成的环境可用，于是只能自力更生搭建测试环境。一开始想采用在宿主机上硬搭，但苦于没有那么多的服务器，于是决定试试docker。以下为详细搭建步骤：

基础环境信息

? 基础环境如下所示：

CentOS Linux release 7.5.1804
Docker version 18.09.4

? 以下操作均在root用户下面操作，如果是非root用户，需要在各命令前面添加sudo

搭建步骤

• 1、下载redis镜像

docker pull redis

? 如果需要拉取指定版本，需要在redis后面添加版本号，如果不指定则拉取最新版本镜像，可以使用docker search redis来搜索镜像

? 查看本地镜像，可以使用命令docker images

• 2、创建虚拟网卡

? 创建虚拟网卡，主要是用于redis-cluster能于外界进行网络通信，一般常用桥接模式。

docker network create redis-net

? 查看docker的网卡信息，可使用命令docker network ls

? 查看dockerr网络详细信息，可使用命令docker network inspect redis-net

• 3、创建redis配置文件模板

mkdir -p /home/redis-cluster
cd /home/redis-cluster
vim redis-cluster.tmpl

在redis-cluster.tmpl中输入以下内容

port ${PORT}
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip 192.168.168.131
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
appendonly yes

各节点解释如下所示：

• port：节点端口，即对外提供通信的端口
• cluster-enabled：是否启用集群
• cluster-config-file：集群配置文件
• cluster-node-timeout：连接超时时间
• cluster-announce-ip：集群各节点IP地址
• cluster-announce-port：集群节点映射端口
• cluster-announce-bus-port：集群总线端口
• appendonly：持久化模式

cluster-announce-ip:这个IP需要特别注意一下，如果要对外提供访问功能，需要填写宿主机的IP，如果填写docker分配的IP（172.x.x.x），可能会导致部分集群节点在跳转时失败。

• 4、创建节点配置文件

? 在redis-cluser中执行以下命令

for port in $(seq 8010 8015); do   mkdir -p ./${port}/conf    && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf   && mkdir -p ./${port}/data; done

? 验证上述命令执行的结果是否正确

• 5、创建redis节点容器

? 执行以下命令即可

for port in $(seq 8010 8015); do    docker run -it -d -p ${port}:${port} -p 1${port}:1${port}   --privileged=true -v /home/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf   --privileged=true -v /home/redis-cluster/${port}/data:/data   --restart always --name redis-${port} --net redis-net   --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf; done

? 验证容器是否创建成功

? 查看docker给每个节点分配的IP信息

• 6、创建redis-cluster集群

? 进入一个容器节点

docker exec -it redis-8010 bash

? 在进入容器后，执行以下命令：

cd /usr/local/bin/

redis-cli --cluster create 192.168.168.131:8010 192.168.168.131:8011 192.168.168.131:8012 192.168.168.131:8013 192.168.168.131:8014 192.168.168.131:8015

出现选择提示信息，输入yes，结果如下所示：

• 7、连接redis-cluster，并添加数据到redis

在节点8010中输入以下命令

redis-cli -c -h 192.168.168.131 -p 8010

• 8、验证集群是否可以任意地方访问

以下验证是基于Windows版本的redis。其下载地址如下：

https://github.com/microsoftarchive/redis/releases

在Windows中验证的结果如下所示：

搭建中遇到的问题

• 1、所有都搭建完成后，在创建redis-cluster时一直报错

Could not connect to Redis at 192.168.168.131:8010: No route to host

这个原因是因为宿主机的防火墙未关，导致相应的端口被阻止，创建的时候临时关闭防火墙，后面再允许相应的端口即可。

• 2、在成功创建完redis-cluster后，可以成功连接，但在获取值时，一直处于跳转中，导致最终出现TTL exhaust

-> Redirected to slot [15495] located at 172.18.0.7:8015

这种情况通常是因为在前面写配置文件，将cluster-announce-ip写成了docker分配的IP，只需要将该IP换为宿主机的IP即可。

其他参考

? ? 在搭建过程，可能在出现问题后，需要停止或直接删除docker容器，可以使用以下参考命令

批量停止docker 容器：

docker ps -a | grep -i "redis-801*" | awk ‘{print $1}‘ | xargs docker stop

批量删除docker 容器：

docker ps -a | grep -i "redis-801*" | awk ‘{print $1}‘ | xargs docker rm -f

批量删除文件

rm -rf 801{0..5}/conf/redis.conf

? ? 以上就是基于docker搭建redis-cluster的简单步骤，实际应用中可能并没有这么简单，该文也仅用于参考。