MySQL开源中间件cetus

Posted 2021-02-11

git地址：
https://github.com/Lede-Inc/cetus/blob/master/doc/cetus-quick-try.md
==介绍
Cetus
简介
Cetus是由C语言开发的关系型数据库mysql的中间件，主要提供了一个全面的数据库访问代理功能。Cetus连接方式与MySQL基本兼容，应用程序几乎不用修改即可通过Cetus访问数据库，实现了数据库层的水平扩展和高可用。
主要功能特性
Cetus分为读写分离和分库（分表是分库的一种特殊形式）两个版本。
针对读写分离版本：

• 多进程无锁提升运行效率
• 支持透明的后端连接池
• 支持SQL读写分离
• 增强SQL路由解析与注入
• 支持prepare语句
• 支持结果集压缩
• 支持安全性管理
• 支持状态监控
• 支持tcp stream流式
• 支持域名连接后端
• SSL/TLS支持（客户端）
• MGR支持
• 读强一致性支持（待实现）
  针对分库版本：
• 多进程无锁提升运行效率
• 支持透明的后端连接池
• 支持SQL读写分离
• 支持数据分库
• 支持分布式事务处理
• 支持insert批量操作
• 支持有条件的distinct操作
• 增强SQL路由解析与注入
• 支持结果集压缩
• 具有性能优越的结果集合并算法
• 支持安全性管理
• 支持状态监控
• 支持tcp stream流式
• 支持域名连接后端
• SSL/TLS支持（客户端）
• MGR支持
• 读强一致性支持（待实现）
  ==环境准备
  架构：
  主：192.168.1.222 从：192.168.1.223 cetus：192.168.1.221
  数据库对cetus用户授权

  CREATE database if not exists testdb;
  create user ‘cetus_app‘@‘192.168.1.221‘ identified by ‘[email protected]‘;
  GRANT all ON testdb.* TO ‘cetus_app‘@‘192.168.1.221‘;

  主从延迟检测准备
  创建心跳库和心跳表，并为用户授权
  例如：
  Cetus所在的主机ip为192.168.1.221

  create database if not exists proxy_heart_beat; 
  use proxy_heart_beat;
  CREATE TABLE if not exists tb_heartbeat ( p_id varchar(128) NOT NULL , p_ts timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3), PRIMARY KEY (p_id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
  GRANT ALL ON proxy_heart_beat.* TO ‘cetus_app‘@‘192.168.1.221‘;

  注意：创建心跳表时p_ts精度必须到小数点后，否则会影响主从延迟检测的准确度

  （cetus会额外启动一个长连接连接主库，一直执行类似语句：
  INSERT INTO proxy_heart_beat.tb_heartbeat (p_id, p_ts) VALUES (‘/home/user/cetus_install/conf_2033375456_2567636547‘, ‘2019-02-27 17:03:37.106285‘) ON DUPLICATE KEY UPDATE p_ts=‘2019-02-27 17:03:37.106285‘

  同时启动一个长连接连接从库库，一直执行类似语句：

  select p_ts from proxy_heart_beat.tb_heartbeat where p_id=‘/home/user/cetus_install/conf_2070313331_376322286‘
  主库写入时间戳，从库读取时间戳，与本地时间做差值，计算主从延迟
  ）

  ==安装cetus
  环境依赖

  yum install cmake gcc glib2-devel flex mysql-devel gperftools-libs zlib-devel -y 
  cd /usr/local/ && git clone https://github.com/Lede-Inc/cetus.git
  cd /usr/local/cetus/
  mkdir build/
  cd build/

  编译
  读写分离版本：

  CFLAGS=‘-g -Wpointer-to-int-cast‘ cmake ../ -DCMAKE_BUILD_TYPE=Debug -DCMAKE_INSTALL_PREFIX=/home/user/cetus_install -DSIMPLE_PARSER=ON

  分库版本：

  CFLAGS=‘-g -Wpointer-to-int-cast‘ cmake ../ -DCMAKE_BUILD_TYPE=Debug -DCMAKE_INSTALL_PREFIX=/home/user/cetus_install -DSIMPLE_PARSER=OFF
  make install
  cd /home/user/cetus_install/conf/

  配置文件在make insatll后存在示例文件，以.example结尾，目录为/home/user/cetus_install/conf/，包括用户设置文件（users.json）、变量处理配置文件（variables.json）、分库版本的分片规则配置文件（sharding.json）、读写分离版本的启动配置文件（proxy.conf）和分库版本的启动配置文件（shard.conf）。
  根据具体编译安装的版本编辑相关配置文件，若使用读写分离功能则需配置users.json和proxy.conf，若使用sharding功能则需配置users.json、sharding.json和shard.conf，其中两个版本的variables.json均可选配。
  读写分离：

  cp proxy.conf.example proxy.conf
  cp users.json.example  users.json

  users.json用来配置用户登陆信息，采用键值对的结构，其中键是固定的，值是用户在MySQL创建的登陆用户名和密码。
  其中user的值是用户名；client_pwd的值是前端登录Cetus的密码；server_pwd的值是Cetus登录后端的密码。

  chmod 660 conf/*
  启动服务：
  bin/cetus --defaults-file=conf/proxy.conf

  客户端连接数据库：密码为users.json中的client_pwd，地址端口为proxy.conf中的proxy-address

  mysql -ucetus_app -p‘[email protected]‘ -P6001 -h192.168.1.221

  cetus本机登录管理端口：

  mysql -h127.0.0.1 -uadmin -padmin -P7001