redis - cluster 部署说明

Posted 梦想俱乐部

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了redis - cluster 部署说明相关的知识,希望对你有一定的参考价值。

1.简介

redis-cluster是一种分布式存储的集群,不同主节点上存储不同的数据。

原理请参照:

https://www.cnblogs.com/CoreXin/articles/5688019.html

https://blog.csdn.net/truelove12358/article/details/79612954

利用redis-cli来配置集群,节点启动和集群配置独立分开

redis使用X端口作为服务端口,集群的通讯端口会有10000的偏移,也就是X+10000端口

2.节点启动

我们采用docker来启动redis服务

2.1创建redis配置文件(redis-cluster.tmpl)

我在路径/home下创建一个文件夹redis-cluster,在路径/home/redis-cluster下创建一个文件redis-cluster.tmpl,并把以下内容复制过去。(注:路径可自定义,我用的是/home/redis-cluster)

port ${PORT}

protected-mode no

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

cluster-announce-ip ${IP_ADDRESS}

cluster-announce-port ${PORT}

cluster-announce-bus-port 1${PORT}

appendonly yes

2.2创建自定义network

docker network create redis-net

2.3 生成配置信息

在/home/redis-cluster下生成conf和data目标,并生成配置信息

cd /home/redis-cluster

forportin`seq 6379 6381`; do \\

mkdir -p ./${port}/conf \\

&& PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf \\

&& mkdir -p ./${port}/data; \\

done

我们选在在一台机子上开三个redis节点,共生成3个文件夹,从6379到6381,每个文件夹下包含data和conf文件夹,同时conf里面有redis.conf配置文件

2.4创建3个redis容器

forportin`seq 6379 6381`; do \\

docker run -d -ti -p ${port}:${port} -p 1${port}:1${port} \\

-v ${DIR}/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \\

-v ${DIR}/${port}/data:/data \\

--restart always --name redis-${port} --net redis-net \\

--sysctl net.core.somaxconn=1024 redis:5.0.7 redis-server /usr/local/etc/redis/redis.conf; \\

done

我在10.10.1.160,39,40上各布置了三个节点,九个节点至此全部启动完毕。

此时九个节点都是独立的。

3.集群配置

首先确保我们的虚拟机上有redis-cli。执行redis-cli -c -h 10.10.1.160 -p 6379。其中-c代表集群模式,-h是ip,-p是端口号。

 

使用cluster nodes命令可以查看当前集群状态,不过这里是已经配置好的集群。

以下是cluster 的命令。

集群
cluster info :打印集群的信息
cluster nodes :列出集群当前已知的所有节点(node),以及这些节点的相关信息。
节点
cluster meet <ip><port> :将ip 和port所指定的节点添加到集群当中,让它成为集群的一份子。
cluster forget <node_id> :从集群中移除node_id指定的节点。
cluster replicate <node_id> :将当前节点设置为node_id 指定的节点的从节点。
cluster saveconfig :将节点的配置文件保存到硬盘里面。
(slot)
cluster addslots <slot> [slot ...] :将一个或多个槽(slot)指派(assign)给当前节点。
cluster delslots <slot> [slot ...] :移除一个或多个槽对当前节点的指派。
cluster flushslots :移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。
cluster setslot <slot> node <node_id> :将槽slot指派给node_id指定的节点,如果槽已经指派给另一个节点,那么先让另一个节点删除该槽>,然后再进行指派。
cluster setslot <slot> migrating <node_id> :将本节点的槽slot迁移到node_id指定的节点中。
cluster setslot <slot> importing <node_id> :从 node_id指定的节点中导入槽slot到本节点。
cluster setslot <slot> stable :取消对槽slot的导入(import)或者迁移(migrate)。

cluster keyslot <key> :计算键key应该被放置在哪个槽上。
cluster countkeysinslot <slot> :返回槽slot 目前包含的键值对数量。
cluster getkeysinslot <slot><count> :返回count个slot槽中的键  

 

我们在集群搭建过程中主要使用的是①cluster meet <ip><port>、②cluster addslots <slot> [slot ...] 、③cluster replicate <node_id>三个命令。

3.1加入加群

我们登录第一个节点(10.10.1.160:6379),使用①命令将其余8个节点加入集群。例如cluster meet 10.10.1.160 6380

3.2分配槽

分布式数据存储为了鉴别什么key存在什么节点上面,会利用映射算法HASH_SLOT=CRC16(key)mod16384分成0-16383共16384个槽。

我们要将这些槽分配到主节点上面去(三主六从,槽尽可能平均地分配给三个主节点)。

要注意的是,②命令只能添加一个槽,效率很慢,所以我们通过脚本命令执行槽的分配。

#第一个master:10.10.1.160:6379

start=0

end=5461

forslotin`seq ${start}${end}`

do

echo"slot:${slot}"

redis-cli -c -h 10.10.1.160 -p 6379 cluster addslots ${slot}

done

 

#第二个master:10.10.1.170:6379

start=5461

end=10922

forslotin`seq ${start}${end}`

do

echo"slot:${slot}"

redis-cli -c -h 10.10.1.170 -p 6379 cluster addslots ${slot}

done

 

#第三个master:10.10.1.180:6379

start=10923

end=16383

forslotin`seq ${start}${end}`

do

echo"slot:${slot}"

redis-cli -c -h ${CLUSTER_IP_3} -p ${PORT_1} cluster addslots ${slot}

done

start和end代表哪个范围的槽,选取哪个节点修改ip和端口号即可。

3.3.设置从节点

使用③命令,按命令说明设置节点为刚才分配了槽的主节点的从节点。

#master节点的node_id

node_id=$(redis-cli -c -h 10.10.1.160 -p 6379 cluster nodes | grep 10.10.1.160:6379 | awk \'{print $1}\')

4.集群维护

节点在docker维护即可,宕机重新启动即可,docker设置restart=always。

集群挂机情况:

① 集群采取的是投票制度,所以存活的主节点需要保证超过总主节点数的一半。

② 三主是最基本的形式,仅允许短时间内挂掉一个主节点,五主可以允许同时挂掉两个主节点。

③ 值得一提的是,如果两个主节点宕机时间有一定间隔,集群可以及时将从节点提升为主节点,所以三主集群只要保证不要同时宕掉两个节点即可。

④ 若docker容器出现无限重启的情况,根据重启的redis端口号容器,先停止容器,然后删除对应的/home/redis-cluster/${port}/data/node.conf文件,接着重启容器即可。

 

 

 

附:部署脚本如下:

脚本说明:

1.保证脚本都在同级目录下
2.每台机器执行redis-cluster.sh 的脚本
3.在集群之外的随便一台机器执行redis-config.sh脚本
4.若集群都挂掉了,只要保证docker能正常启动即可,集群会自动启动

redis-cluster.sh

#!/usr/bin/env bash
#获取本机ip地址
IP_ADDRESS=$(ip a | grep inet | grep -v inet6 | grep -v 127 | sed \'s/^[ \\t]*//g\' | awk -F " " \'{print $2}\' | grep -v 172 | grep -v 32 | awk -F"/" \'{print $1}\')
DIR="/home/redis-cluster"
echo -e "\\033[1;31m 此脚本需在每个redis节点上执行 \\033[0m"
echo "创建目录${DIR}"
mkdir ${DIR}

echo -e "\\033[1;32m 1.开始生成redis-cluster.tmpl文件 \\033[0m"
cat <<EOF >${DIR}/redis-cluster.tmpl
port \\${PORT}
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip ${IP_ADDRESS}
cluster-announce-port \\${PORT}
cluster-announce-bus-port 1\\${PORT}
appendonly yes
EOF
echo "文件生成完毕"


#echo -e "\\033[1;32m 2.创建自定义network \\033[0m"
#docker network create redis-net


echo -e "\\033[1;32m 3.在/home/redis-cluster下生成conf和data目标,并生成配置信息 \\033[0m"
cd ${DIR}
for port in `seq 6379 6381`; do \\
mkdir -p ./${port}/conf \\
&& PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf \\
&& mkdir -p ./${port}/data; \\
done


echo -e "\\033[1;32m 4.创建3个redis容器 \\033[0m"
#echo -e "\\033[1;32m 获取redis镜像 \\033[0m"
#docker pull redis:latest
echo -e "\\033[1;32m 根据端口号生成redis容器并启动 \\033[0m"
for port in `seq 6379 6381`; do \\
docker run -d -ti -p ${port}:${port} -p 1${port}:1${port} \\
-v ${DIR}/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \\
-v ${DIR}/${port}/data:/data \\
--restart always --name redis-${port} --net host \\
--sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf; \\
done
exit

 

redis-config.sh

#!/usr/bin/env bash
CLUSTER_IP_1="10.10.1.160"
CLUSTER_IP_2="10.10.1.170"
CLUSTER_IP_3="10.10.1.180"
PORT_1="6379"
PORT_2="6380"
PORT_3="6381"
echo -e "\\033[1;31m 此脚本需要在redis集群之外的Linux上执行 \\033[0m"
echo "安装redis(centos)"
sudo yum -y install redis
#sudo apt-get install redis-tools
echo "启动redis"
systemctl start redis
echo "查看redis服务运行状态"
systemctl status redis
echo "设置开机自启动"
systemctl enable redis


echo -e "\\033[1;32m 1.登录其中一个节点并且将九个节点分别加入集群 \\033[0m"
ip_pre="10.10.1."
ip_start="160"
ip_end="180"
port_start="6379"
port_end="6381"
for ip_address in `seq ${ip_start} 10 ${ip_end}`
do
for port in `seq ${port_start} ${port_end}`
do
redis-cli -c -h ${CLUSTER_IP_1} -p ${PORT_1} cluster meet ${ip_pre}${ip_address} ${port}
done
done
echo "查看节点情况"
redis-cli -c -h ${CLUSTER_IP_1} -p ${PORT_1} cluster nodes

echo -e "\\033[1;32m 2.分配槽 \\033[0m"
echo "第一个master:${CLUSTER_IP_1} -p ${PORT_1}"
start=0
end=5461
for slot in `seq ${start} ${end}`
do
echo "slot:${slot}"
redis-cli -c -h ${CLUSTER_IP_1} -p ${PORT_1} cluster addslots ${slot}
done


echo "第二个master:${CLUSTER_IP_2} -p ${PORT_1}"
start=5461
end=10922
for slot in `seq ${start} ${end}`
do
echo "slot:${slot}"
redis-cli -c -h ${CLUSTER_IP_2} -p ${PORT_1} cluster addslots ${slot}
done

echo "第三个master:${CLUSTER_IP_3} -p ${PORT_1}"
start=10923
end=16383
for slot in `seq ${start} ${end}`
do
echo "slot:${slot}"
redis-cli -c -h ${CLUSTER_IP_3} -p ${PORT_1} cluster addslots ${slot}
done

echo -e "\\033[1;32m 3.设置从节点 \\033[0m"
ip_pre="10.10.1."
ip_start="160"
ip_end="180"
port_start="6380"
port_end="6381"
for ip_address in `seq ${ip_start} 10 ${ip_end} `
do
for port in `seq ${port_start} ${port_end}`
do
#master节点的node_id
node_id=$(redis-cli -c -h ${ip_pre}${ip_address} -p 6379 cluster nodes | grep ${ip_pre}${ip_address}:6379 | awk \'{print $1}\')
redis-cli -c -h ${ip_pre}${ip_address} -p ${port} cluster replicate ${node_id}
done
done
echo "查看集群节点状态"
redis-cli -c -h ${CLUSTER_IP_1} -p ${PORT_1} cluster nodes
echo "redis集群部署完毕"
exit

 

以上是关于redis - cluster 部署说明的主要内容,如果未能解决你的问题,请参考以下文章

Redis-Cluster集群

Redis-Cluster集群

redis cluster + redis replication 搭建

redis - cluster 部署说明

Redis Cluster--运维管理

redis cluster VS tw