redis3.2.5 分布式集群安装+错误解决过程

Posted 2020-08-21

redis3.2.5 分布式集群安装详细步骤

                              --(centos5.X-6.X _X64系统)

版本历史

时间	版本	说明	编写者
2015-06-5	1.0	redis3.0.2 分布式集群安装详细步骤	崔四超
2016-11-25	1.1	redis3.2.5 分布式集群安装详细步骤	崔四超

 

 

 

一: redis cluster介绍篇

1:redis cluster的现状

目前redis支持的cluster特性(已亲测):

1):节点自动发现

2):slave->master 选举,集群容错

3):Hot resharding:在线分片

4):集群管理:cluster xxx

5):基于配置(nodes-port.conf)的集群管理

6):ASK 转向/MOVED 转向机制.

2:redis cluster 架构

 

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

2) redis-cluster选举:容错

 

(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.

(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误

    a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.

    b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

 

 

二.Redis集群安装篇(centosX64系统)

 

（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）

 

127.0.0.1:7001

127.0.0.1:7002

127.0.0.1:7003

127.0.0.1:7004

127.0.0.1:7005

127.0.0.1:7006

 

1：下载redis。

官网下载3.2.5版本，之前2.几的版本不支持集群模式

下载地址：http://download.redis.io/releases/redis-3.2.5.tar.gz

目前最新版本为：redis-3.2.5.tar.gz

 

2：上传服务器，解压，编译

tar -xvzf redis-3.2.5.tar.gz  

cd redis-3.2.5

make

make install

 

3：创建集群需要的目录

mkdir -p /usr/local/cluster

cd /usr/local/cluster

mkdir 7001

mkdir 7002

mkdir 7003

mkdir 7004

mkdir 7005

mkdir 7006

 

4：修改配置文件redis.conf

cp /usr/local/redis3.2.5/redis.conf  /usr.local/cluster

vi redis.conf

##修改配置文件中的下面选项

port 7001

daemonize yes

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

appendonly yes

##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7001/7002/7003/7004/7005/7006目录下面

cp/usr/local/cluster/redis.conf /usr/local/cluster/7001

cp/usr/local/cluster/redis.conf /usr/local/cluster/7002

cp /usr/local/cluster/redis.conf/usr/local/cluster/7003

cp/usr/local/cluster/redis.conf /usr/local/cluster/7004

cp/usr/local/cluster/redis.conf /usr/local/cluster/7005

cp/usr/local/cluster/redis.conf /usr/local/cluster/7006

 

##注意：拷贝完成之后要修改7002/7003/7004/7005/7006目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称

 

5：分别启动这6个redis实例

cd /usr/local/cluster/7001

redis-server redis.conf

 

cd /usr/local/cluster/7002

redis-server redis.conf

 

cd /usr/local/cluster/7003

redis-server redis.conf

 

cd /usr/local/cluster/7004

redis-server redis.conf

 

cd /usr/local/cluster/7005

redis-server redis.conf

 

cd /usr/local/cluster/7006

redis-server redis.conf

 

 

##启动之后使用命令查看redis的启动情况ps -ef|grep redis

如下显示则说明启动成功

 # ps -ef|grep redis

root     13703    1  0 10:03 ?        00:00:00 redis-server *:7001 [cluster]

root     14015    1  0 10:04 ?        00:00:00 redis-server *:7003 [cluster]

root     14133    1  0 10:04 ?        00:00:00 redis-server *:7004 [cluster]

root     14172    1  0 10:04 ?        00:00:00 redis-server *:7005 [cluster]

root     14187    1  0 10:04 ?        00:00:00 redis-server *:7006 [cluster]

root     14323    1  0 10:04 ?        00:00:00 redis-server *:7002 [cluster]

6.升级ruby 安装gem

 

安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby ，

rpm -ivh http://yum.puppetlabs.com/el/5/products/x86_64/puppetlabs-release-5-6.noarch.rpm

 

yum install  -y   ruby ruby-devel rubygems rpm-build

 

检查 ruby 版本：

#ruby  -v

ruby 1.8.7 (2013-06-27patchlevel 374) [x86_64-linux]

 

是否安装rubygems：

# rpm -qa|grep ruby

ruby-rdoc-1.8.7.374-2.el5

ruby-1.8.7.374-2.el5

ruby-devel-1.8.7.374-2.el5

ruby-devel-1.8.7.374-2.el5

ruby-mode-1.8.5-24.el5

ruby-irb-1.8.7.374-2.el5

ruby-libs-1.8.7.374-2.el5

ruby-libs-1.8.7.374-2.el5

rubygems-1.3.7-1.el5

 

7.gem 安装redis ruby 接口

geminstall redis （安装的redis 驱动版本为3.3.2 ,执行redis-trib.rb  create --replicas XXX  后期会报错,后面会提到解决方法）

8：执行redis的创建集群命令创建集群

#redis-trib.rb的create子命令构建 

#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点 

#节点角色由顺序决定,先master之后是slave

创建方式：

cd /usr/local/redis3.0/src

./redis-trib.rb  create --replicas 1 127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

 

##错误笔记备注：

 

8.1执行上面的命令的时候会报错，因为是执行的ruby的脚本，需要ruby的环境

错误内容：/usr/bin/env: ruby: No such file or directory

所以需要安装ruby的环境，这里推荐使用yum install ruby安装

yum install ruby

 

8.2然后再执行第6步的创建集群命令，还会报错，提示缺少rubygems组件，使用yum安装

 

错误内容：

./redis-trib.rb:24:in`require‘: no such file to load -- rubygems (LoadError)

from ./redis-trib.rb:24

yum install rubygems

 

8.3再次执行第8步的命令，还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装

错误内容：

/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in`gem_original_require‘: no such file to load -- redis (LoadError)

from/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require‘

from ./redis-trib.rb:25

 

gem install redis

 

 

8.4 再次执行第8步的命令，正常执行

输入yes，然后配置完成。

注意观察主从的配置：

默认是前三个节点 7001  7002  7003 是主，

后3个节点 7004  7005   7006 是从

如果是部署在不同的服务器，请根据主从分部规则，分开在不同的服务器

 

 

##推倒重来

8.5 执行./redis-trib.rb create --replicas 1 报错如下：

 

Can I set the aboveconfiguration? (type ‘yes‘ to accept): yes

/usr/lib/ruby/gems/1.8/gems/redis-3.2.1/lib/redis/client.rb:113:in`call‘: ERR Slot 10846 is already busy (Redis::CommandError)

 

 

出现以上报错，需要重新推倒重来，除redis.conf 文件外

请删除/usr/local/cluster文件下面的所有node.conf 和dump

并重启redis 集群服务

 

 

###报错解决

 

8.6 执行./redis-trib.rb create --replicas 1 报错如下：

 

/usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:111:in`_write_to_socket‘: Connection timed out (Redis::TimeoutError)

（报错原因为：gem install redis 版本为3.3.2太高，需要降低版本）

备注：

如果是单机伪集群部署，gem install redis后，

执行redis-trib.rb create --replicas XXX 命令是不会报错的。

如果是多台服务器安装集群，必须降低版本安装redis驱动

否则执行redis-trib.rb create --replicas XXX报错！

 

手工下载并安装ruby redis 插件：
wgethttps://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem

 

gem uninstall redis   #卸载老版本
gem install -l ./redis-3.2.1.gem

 

./redis-trib.rb  create --replicas 1 192.168.40.31:7001192.168.40.32:7002 192.168.40.33:7003 192.168.40.32:7004 192.168.40.33:7005192.168.40.31:7006

 

至此redis集群即搭建成功！

9：使用redis-cli命令进入集群环境

redis-cli -c -p 7001

 

三.测试篇

1).检查集群状态,

#redis-trib.rb的check子命令构建 

#ip:port可以是集群的任意节点 

./redis-trib.rb check  127.0.0.1:7001

 最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

 

 

2):添加新master节点

(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预

a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)

 

 

sh establish_config.sh 6386> conf/redis-6386.conf 

 

b):启动节点

 

 

nohup redis-server/opt/redis/conf/redis-6386.conf > /opt/redis/logs/redis-6386.log 2>&1& 

 

c):加入空节点到集群

add-node  将一个节点添加到集群里面，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

 

 

redis-trib.rb add-node10.10.34.14:6386 10.10.34.14:6381 

 

node:新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时，这个新节点不会被选中

d):为新节点分配slot

 

 

redis-trib.rb reshard10.10.34.14:6386 

#根据提示选择要迁移的slot数量(ps:这里选择500) 

How many slots do you wantto move (from 1 to 16384)? 500 

#选择要接受这些slot的node-id 

What is the receiving nodeID? f51e26b5d5ff74f85341f06f28f125b7254e61bf 

#选择slot来源: 

#all表示从所有的master重新分配， 

#或者数据要提取slot的master节点id,最后用done结束 

Please enter all the sourcenode IDs. 

  Type ‘all‘ to use all the nodes as sourcenodes for the hash slots. 

  Type ‘done‘ once you entered all the sourcenodes IDs. 

Source node #1:all 

#打印被移动的slot后，输入yes开始移动slot以及对应的数据. 

#Do you want to proceedwith the proposed reshard plan (yes/no)? yes 

#结束 

3):添加新的slave节点

a):前三步操作同添加master一样

b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

 

 

cluster replicate2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835 

 

note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.

例如本次添加slave操作产生的rdb文件

 

 

-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-6386.rdb 

-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7386.rdb 

 

4):在线reshard 数据:

对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.

5):删除一个slave节点

 

#redis-trib del-nodeip:port ‘<node-id>‘ 

redis-trib.rb del-node10.10.34.14:7386 ‘c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378‘ 

 6):删除一个master节点

 

a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除

master的slot迁移到一个节点上)

 

 

#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上 

redis-trib.rb reshard10.10.34.14:6380 

#根据提示选择要迁移的slot数量(ps:这里选择500) 

How many slots do you wantto move (from 1 to 16384)? 500(被删除master的所有slot数量) 

#选择要接受这些slot的node-id(10.10.34.14:6380) 

What is the receiving nodeID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id) 

Please enter all the sourcenode IDs. 

  Type ‘all‘ to use all the nodes as sourcenodes for the hash slots. 

  Type ‘done‘ once you entered all the sourcenodes IDs. 

Source node#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id) 

Source node #2:done 

#打印被移动的slot后，输入yes开始移动slot以及对应的数据. 

#Do you want to proceedwith the proposed reshard plan (yes/no)? yes 

 

b):删除空master节点

 

 

redis-trib.rb del-node10.10.34.14:6386 ‘f51e26b5d5ff74f85341f06f28f125b7254e61bf‘ 

 

 

 

 

 

四:redis cluster 客户端(Jedis)

1:客户端基本操作使用

 

 

<span style="color:#333333; font-family: Arial, sans-serif;"><span style="color:#333333; font-family: Arial, sans-serif;"> private staticBinaryJedisCluster jc; 

  static { 

       //只给集群里一个实例就可以 

        Set<HostAndPort>jedisClusterNodes = new HashSet<HostAndPort>(); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6380)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6381)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6382)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6383)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6384)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7380)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7381)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7382)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7383)); 

        jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7384)); 

        jc = newBinaryJedisCluster(jedisClusterNodes); 

    } 

@Test 

    public void testBenchRedisSet() throwsException { 

        final Stopwatch stopwatch = newStopwatch(); 

        List list = buildBlogVideos(); 

        for (int i = 0; i < 1000; i++){ 

            String key = "key:" +i; 

            stopwatch.start(); 

            byte[] bytes1 =protostuffSerializer.serialize(list); 

            jc.setex(key, 60 * 60,bytes1); 

            stopwatch.stop(); 

        } 

        System.out.println("time=" +stopwatch.toString()); 

    }</span></span> 

2:jedis客户端的坑.

1)cluster环境下redis的slave不接受任何读写操作，

2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0

3)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch thiscommand to Redis Cluster)错误，.

4)JedisCluster 没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster  api)