Codis 3.2 部署配置

Posted 2020-10-06

Codis 3.2 部署配置

一，Codis简介

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一

样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

不支持命令列表

https://github.com/CodisLabs/codis/blob/release3.2/doc/unsupported_cmds.md

redis的修改

https://github.com/CodisLabs/codis/blob/release3.2/doc/redis_change_zh.md

go安装

https://golang.org/doc/install

二，Codis 3.x

最新 release 版本为 codis-3.2，codis-server 基于 redis-3.2.8

支持 slot 同步迁移、异步迁移和并发迁移，对 key 大小无任何限制，迁移性能大幅度提升

相比 2.0：重构了整个集群组件通信方式，codis-proxy 与 zookeeper 实现了解耦，废弃了codis-config 等

元数据存储支持 etcd/zookeeper/filesystem 等，可自行扩展支持新的存储，集群正常运行期间，即便元存储故障也不再影响 codis 集群，大大提升 codis-proxy 稳定性

对 codis-proxy 进行了大量性能优化,通过控制GC频率、减少对象创建、内存预分配、引入 cgo、jemalloc 等，使其吞吐还是延迟，都已达到 codis 项目中最佳

proxy 实现 select 命令，支持多 DB

proxy 支持读写分离、优先读同 IP/同 DC 下副本功能

基于 redis-sentinel 实现主备自动切换

实现动态 pipeline 缓存区（减少内存分配以及所引起的 GC 问题）

proxy 支持通过 HTTP 请求实时获取 runtime metrics，便于监控、运维

支持通过 influxdb 和 statsd 采集 proxy metrics

slot auto rebalance 算法从 2.0 的基于 max memory policy 变更成基于 group 下 slot 数量

提供了更加友好的 dashboard 和 fe 界面，新增了很多按钮、跳转链接、错误状态等，有利于快速发现、处理集群故障

新增 SLOTSSCAN 指令，便于获取集群各个 slot 下的所有 key

codis-proxy 与 codis-dashbaord 支持 docker 部署

三，Codis 3.x 由以下组件组成：

Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。

对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；

不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的

一致性。

对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；

所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin：集群管理的命令行工具。

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE：集群管理界面。

多个集群实例共享可以共享同一个前端展示页面；

通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。

Storage：为集群状态提供外部存储。

提供 Namespace 概念，不同集群的会按照不同 product name 进行组织；

目前仅提供了 Zookeeper、Etcd、Fs 三种实现，但是提供了抽象的 interface 可自行扩展。

四，安装部署

二进制部署（官网的支持CentOS7,Glibc2.14以上版本）

tar zxvf /root/codis3.2.0-go1.7.5-linux.tar.gz -C /usr/local/

ln -s /usr/local/codis3.2.0-go1.7.5-linux/ /usr/local/codis

/usr/local/codis/redis-cli -v

/usr/local/codis/redis-cli: /lib64/libc.so.6: version `GLIBC_2.14‘ not found (required by /usr/local/codis/redis-cli)

排错

strings /lib64/libc.so.6 |grep GLIBC_  

GLIBC_2.2.5

GLIBC_2.2.6

GLIBC_2.3

GLIBC_2.3.2

GLIBC_2.3.3

GLIBC_2.3.4

GLIBC_2.4

GLIBC_2.5

GLIBC_2.6

GLIBC_2.7

GLIBC_2.8

GLIBC_2.9

GLIBC_2.10

GLIBC_2.11

GLIBC_2.12

GLIBC_PRIVATE

需要安装GLIBC_2.14版本

直接使用CentOS7即可解决此问题。

源码部署（CentOS6/7都可）

1，java环境

yum -y  install java-1.8.0

java -version

2，go环境

tar zxvf /root/go1.8.3.linux-amd64.tar.gz -C /usr/local/

/usr/local/go/bin/go version

mkdir -p /data/go

echo ‘export PATH=$PATH:/usr/local/go/bin:/usr/local/codis/bin‘  >>/etc/profile

echo ‘export GOPATH=/data/go‘  >>/etc/profile

source /etc/profile

go env GOPATH

 

3，codis安装

mkdir -p /data/go/src/github.com/CodisLabs/  

tar -zxvf /root/codis-3.2.0.tar.gz -C /data/go/src/github.com/CodisLabs/

cd /data/go/src/github.com/CodisLabs/

mv codis-3.2.0/ codis

cd codis/

make

./bin/redis-cli -v

ln -s /data/go/src/github.com/CodisLabs/codis/ /usr/local/codis

cat bin/version 

version = unknown version

compile = 2017-09-11 16:58:26 +0800 by go version go1.8.3 linux/amd64

4，zookeepr安装

tar -zxvf /root/zookeeper-3.4.10.tar.gz -C /usr/local

ln -s /usr/local/zookeeper-3.4.10 /usr/local/zookeeper

echo ‘/usr/local/zookeeper/bin/zkServer.sh start‘  >>/etc/rc.local

cat << EOF >>  /usr/local/zookeeper/conf/zoo.cfg 

tickTime=2000

initLimit=5

syncLimit=2

dataDir=/data/zookeeper/data

clientPort=2181

server.1=192.168.188.120:2888:3888

server.2=192.168.188.121:2888:3888

server.3=192.168.188.122:2888:3888

EOF

###myid

#注意：2888是主从的通信端口，3888是选举端口，server后面的1,2,3是在data目录下myid文件里的数值

mkdir -p /data/zookeeper/data

echo ‘1‘ > /data/zookeeper/data/myid 

/usr/local/zookeeper/bin/zkServer.sh start

/usr/local/zookeeper/bin/zkServer.sh status

5，其他节点直接打包/data/go/src/github.com/CodisLabs/codis.tar.gz复制过去即可

集群配置前需要了解架构，集群分片主要分三种：

客户端分片：这个需要自己开发，对客户端要求严格，集群很难扩容

代理端分片：如codis，对客户端几乎无要求，集群容易扩容

服务端分片：如redis集群，需要智能客户端支持集群协议的，集群容易扩容

codis3.2集群架构

服务端：codis-fe------codis-dashboard------codis-proxy------codis-group------codis-server

客户端：client------nginx-tcp------codis-proxy

cdis-fe可以管理多个codis-dashboard

每个codis-dashboard代表一个产品线，每个codis-dashboard可以管理多个codis-proxy

每个codis-proxy可以管理多个codis-server group

每个codis-server group至少由两个codis-server组成，最少1主1备

由上可知一个大的codis集群可以分多个产品线，客户端连接各个产品线的codis-proxy，业务线之间可以做到物理隔离，比如group1，group2，group3分给codis-product1业务线，group4，

group5，group6分给codis-product2业务线，codis-dashboard配置保存在zookeeper里。

特别注意

同一个codis-server加入多个codis-dashboard的codis-group里，但是在不同的codis-dashboard里面主备的角色要一致，这代表逻辑隔离。

同一个codis-server只加入唯一的codis-dashboard的codis-group里，这代表物理隔离。

五，集群配置

1，角色划分

192.168.188.120 codis120 codis-server  zookeeper

192.168.188.121 codis121 codis-server  zookeeper

192.168.188.122 codis122 codis-server  zookeeper

192.168.188.123 codis123 codis-server  codis-proxy   nginx-tcp  lvs

192.168.188.124 codis124 codis-server  codis-proxy   nginx-tcp  lvs

192.168.188.125 codis125   codis-server  codis-dashboard codis-fe

以下操作的基本目录

[[email protected] codis]# pwd -L

/usr/local/codis

[[email protected] codis]# pwd -P

/data/go/src/github.com/CodisLabs/codis

2，启动codis-dashobard（codis125上操作）

1)，修改dashboard.toml配置文件

[[email protected] codis]# cat config/dashboard.toml

主要修改这几行

# Set Coordinator, only accept "zookeeper" & "etcd" & "filesystem".

coordinator_name = "zookeeper"

coordinator_addr = "192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"

# Set Codis Product Name/Auth.

product_name = "codis-product1"

product_auth = ""

# Set bind address for admin(rpc), tcp only.

admin_addr = "0.0.0.0:18080"

2），启动脚本

启动前需要修改脚本zookeeper地址池与product名称

[[email protected] codis]#cat   ./admin/codis-dashboard-admin.sh 

$CODIS_ADMIN_TOOL_BIN -v --remove-lock --product=codis-product1 --zookeeper=192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181

[[email protected] codis]#  ./admin/codis-dashboard-admin.sh start

3），检查日志与端口

[[email protected] codis]# cat log/codis-dashboard.log.2017-09-11 

2017/09/11 17:42:08 main.go:78: [WARN] set ncpu = 8

2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - zkclient setup new connection to 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181

2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Connected to 192.168.188.121:2181

2017/09/11 17:42:08 topom.go:119: [WARN] create new topom:

{

    "token": "a10e7a35209d1db8f21c8e89a78a6c9a",

    "start_time": "2017-09-11 17:42:08.1058555 +0800 CST",

    "admin_addr": "codis125:18080",

    "product_name": "codis-product2",

    "pid": 18029,

    "pwd": "/usr/local/codis",

    "sys": "Linux codis125 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux"

}

2017/09/11 17:42:08 main.go:103: [WARN] create topom with config

coordinator_name = "zookeeper"

coordinator_addr = "192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"

admin_addr = "0.0.0.0:18080"

product_name = "codis-product1"

product_auth = ""

migration_method = "semi-async"

migration_parallel_slots = 100

migration_async_maxbulks = 200

migration_async_maxbytes = "32mb"

migration_async_numkeys = 500

migration_timeout = "30s"

sentinel_quorum = 2

sentinel_parallel_syncs = 1

sentinel_down_after = "30s"

sentinel_failover_timeout = "5m"

sentinel_notification_script = ""

sentinel_client_reconfig_script = ""

2017/09/11 17:42:08 topom.go:424: [WARN] admin start service on [::]:18080

2017/09/11 17:42:08 main.go:116: [WARN] option --pidfile = /usr/local/codis/bin/codis-dashboard.pid

2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Authenticated: id=170697207944249344, timeout=40000

2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Re-submitting `0` credentials after reconnect

2017/09/11 17:42:08 main.go:140: [WARN] [0xc42033e120] dashboard is working ...

[[email protected] codis]# netstat -tulpn |grep codis-dashboa

tcp6       0      0 :::18080                :::*                    LISTEN      32006/codis-dashboa 

4)，检查服务

http://192.168.188.125:18080/topom

3，启动codis-proxy（codis123与codis124上操作）

1)，修改codis-proxy启动脚本

[[email protected] codis]# cat admin/codis-proxy-admin.sh|grep DASH

CODIS_DASHBOARD_ADDR="192.168.188.125:18080"

2)，修改proxy.toml配置

[[email protected] codis]# cat config/proxy.toml|grep -Ev "^#|^$"

product_name = "codis-product1"

product_auth = ""

session_auth = ""

admin_addr = "0.0.0.0:11080"

proto_type = "tcp4"

proxy_addr = "0.0.0.0:19000"

3)，启动codis-proxy脚本

[[email protected] codis]# ./admin/codis-proxy-admin.sh start

4），检查日志与端口

[[email protected] codis]# cat log/codis-proxy.log.2017-09-11

[[email protected] codis]# netstat -tulpn|grep codis-proxy

tcp        0      0 0.0.0.0:19000           0.0.0.0:*               LISTEN      31971/codis-proxy   

tcp6       0      0 :::11080                :::*                    LISTEN      31971/codis-proxy   

4，启动codis-server（需要在所有上操作）

1），修改启动脚本

vim /usr/local/codis/admin/codis-server-admin-6379.sh start

vim /usr/local/codis/admin/codis-server-admin-6380.sh start

主要注意以下几点

[[email protected] codis]# cat /usr/local/codis/admin/codis-server-admin-6379.sh |grep -Ev "^#|^$"|grep 6379

CODIS_SERVER_PID_FILE=/data/codis/6379/redis_6379.pid

CODIS_SERVER_LOG_FILE=/data/codis/6379/redis_6379.log

CODIS_SERVER_CONF_FILE=$CODIS_CONF_DIR/redis-6379.conf

2），修改服务配置

[[email protected] codis]# mkdir -p /data/redis/6379

[[email protected] codis]# mkdir -p /data/redis/6380

[[email protected] codis]# vim /usr/local/codis/config/redis-6379.conf 

[[email protected] codis]# vim /usr/local/codis/config/redis-6380.conf 

主要是注意以下几点

[[email protected] codis]# cat /usr/local/codis/config/redis-6379.conf |grep -Ev "^#|^$"|grep 6379

port 6379

pidfile /data/redis/6379/redis_6379.pid

logfile "/data/redis/6379/redis_6379.log"

dir /data/redis/6379

3），启动codis-server服务

[[email protected] codis]# ./admin/codis-server-admin-6379.sh start

/usr/local/codis/admin/../config/redis-6379.conf

starting codis-server ... 

[[email protected] codis]# ./admin/codis-server-admin-6380.sh start

/usr/local/codis/admin/../config/redis-6380.conf

starting codis-server ... 

4），检测日志与端口

[[email protected] codis]# netstat -tulpn |grep codis-server

tcp        0      0 192.168.188.120:6379       0.0.0.0:*               LISTEN      22231/codis-server  

tcp        0      0 192.168.188.120:6380       0.0.0.0:*               LISTEN      22308/codis-server 

5，启动codis-fe（codis125上操作）

1），修改codis-fe启动脚本

[[email protected] codis]# cat admin/codis-fe-admin.sh 

主要修改这几行

#!/usr/bin/env bash

#COORDINATOR_NAME="filesystem"

#COORDINATOR_ADDR="/tmp/codis"

COORDINATOR_NAME="zookeeper"

COORDINATOR_ADDR="192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"

2），启动codis-fe脚本

[[email protected] codis]#  ./admin/codis-fe-admin.sh start

3），检查日志与端口

[[email protected] codis]# cat log/codis-fe.log.2017-09-11 

2017/09/11 19:24:32 main.go:101: [WARN] set ncpu = 8

2017/09/11 19:24:32 main.go:104: [WARN] set listen = 0.0.0.0:9090

2017/09/11 19:24:32 main.go:120: [WARN] set assets = /usr/local/codis/bin/assets

2017/09/11 19:24:32 main.go:155: [WARN] set --zookeeper = 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181

2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - zkclient setup new connection to 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181

2017/09/11 19:24:32 main.go:209: [WARN] option --pidfile = /usr/local/codis/bin/codis-fe.pid

2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Connected to 192.168.188.120:2181

2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Authenticated: id=98639613905403907, timeout=40000

2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Re-submitting `0` credentials after reconnect

[[email protected] codis]# netstat -tupnl |grep codis-fe

tcp6       0      0 :::9090                 :::*                    LISTEN      32141/codis-fe  

4），访问面板

http://192.168.188.125:9090/#codis-product1

六，codis-fe面板操作

1，通过codis-fe添加group

通过web浏览器访问集群管理页面(fe地址:http://192.168.188.125:9090/#codis-product1) 选择我们刚搭建的集群 codis-product1，在 Proxy 栏可看到我们已经启动的 Proxy， 但是 

Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的 

codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可。

如上依次添加6个group，12个codis-server，默认每组里面第一个添加的为主，第二个添加的设置为从，同一个节点2个实例不能设置为同一group。

2，通过codis-fe初始化solt

新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图

所示，点击此按钮，我们即快速完成了一个集群的搭建。

自动分配1024个solt到6个group，reblance all solts会自动分配完所以solt到6个group。

七，代理HA

1，在codis123与codis124上安装lvs与nginx-tcp

2，配置好VIP+19000端口为第一个codis-dashboard业务线使用，其他类推

192.168.188.131:19000

本文出自 “jerrymin” 博客，请务必保留此出处http://jerrymin.blog.51cto.com/3002256/1964464