Mycat概述

Posted 2020-11-10 Linux

从开始接触mycat，到现在为止也有三个多月的时间了，目前在测试环境中已经初步应用！大概可以总结一下了

mycat是一个数据库中间件，也可以理解为是数据库代理。在架构体系中是位于数据库和应用层之间的一个组件，并且对于应用层是透明的，即数据库感受不到mycat的存在，认为是直接连接的mysql数据库（实际上是连接的mycat,mycat实现了mysql的原生协议）

mycat的三大功能：分表、读写分离、主从切换；mycat的主要功能也就是这三个了吧！？？

1、分表

　　对于数据量很大的表（千万级以上），mysql性能会有很大下降，因此尽量控制在每张表的大小在百万级别。对于数据量很大的一张表，可以考虑将这些记录按照一定的规则放到不同的数据库里面。这样每个数据库的数据量不是太大，性能也不会有太大损失。

　　mycat自动会帮助我们实现分表功能，而对于应用层来说是透明的，即跟一张表没有什么区别！

　　mycat分表的实现：首先在mycat的scheme.xml中配置逻辑表，并且在配置中说明此表在哪几个物理库上。此逻辑表的名字与真实数据库中的名字一致！然后需要配置分片规则，即按照什么逻辑分库！分片规则有很多，选取以下几个简单说明：

　　1、根据数据库某字段的hash值片

　　2、截取某字段的几位数字，匹配分区号

　　3、按照时间（年份分表）

　　4、……

　　分表的原则是尽量避免跨库操作操作，跨库操作会损失很多性能，mycat会对各个库的结果集进行合并，另外就是要考虑扩展之后，尽量使最少量的数据迁移。

　　分表规则很多，很灵活，并且在源码基础上修改分片规则也很容易！

　　分表之后有什么弊端呢？

　　使用存储过程/函数就不太方便了，mycat本身不支持存储过程，是通过注解的方式实现存储过程的调用。并且在所有库上都执行，将执行结果合并，并返回（mysql存储过程返回结果最好使用select方式返回）。

　　分表之后还有一个问题，就是自增ID的问题，在分库场景下，如果使用mysql的自增主键，会导致各个库中主键之间有重复。mycat使用内部的全局序列号解决这个问题；即插入数据的时候，mycat会自动的显示的插入自增主键，使用的是全局序列号；

　　需要在配置逻辑表的时候，配置上自增字段，自增属性=true 这两个属性；

 <table name="fh_fullnote" primaryKey="FH_FULLNOTE_ID" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="sharding-by-substring" />

　　那么全局序列号存储在什么地方呢？mycat是怎么去取的呢？

　　全局序列号有两种存储方式：基于本地文件和基于数据库的存储；

　　我们是采用基于数据库的存储方式，需要在数据库中建立 mycat_sequence表

Create Table: CREATE TABLE `mycat_sequence` (
  `name` varchar(50) NOT NULL,
  `current_value` int(11) NOT NULL,
  `increment` int(11) NOT NULL DEFAULT ‘100‘,
  PRIMARY KEY (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

　　全局序列号就是存储在这个表中；第一个是全局序列号的名，第二个是当前值，第三个是增量；即每次mycat会取出一批序列号（增量就是作用与此），用完之后再取；如果每次都取，在效率上会有损失。

　　mycat取全局序列号是通过函数来取的，因此需要在数据库上增加如下三个函数：

⑤    /******************************获取函数当前值***********************************/

DELIMITER $$

USE `mycat1`$$

DROP FUNCTION IF EXISTS `mycat_seq_currval`$$

CREATE DEFINER=`root`@`%` FUNCTION `mycat_seq_currval`(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET utf8
    DETERMINISTIC
BEGIN
    DECLARE retval VARCHAR(64);
    SET retval="-999999999,null";
        SET retval="-999999999,null";
        SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE
        WHERE NAME = seq_name;
    RETURN retval;
    END$$

DELIMITER ;
/*******************************获取下一批值***************************************/
DELIMITER $$

USE `mycat1`$$

DROP FUNCTION IF EXISTS `mycat_seq_nextval`$$

CREATE DEFINER=`root`@`%` FUNCTION `mycat_seq_nextval`(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET utf8
BEGIN
    UPDATE MYCAT_SEQUENCE
    SET current_value = current_value + increment WHERE NAME = seq_name;
    RETURN mycat_seq_currval(seq_name);
    END$$

DELIMITER ;

/*******************************设定值***************************************/
DELIMITER $$

USE `mycat1`$$

DROP FUNCTION IF EXISTS `mycat_seq_setval`$$

CREATE DEFINER=`root`@`%` FUNCTION `mycat_seq_setval`(seq_name VARCHAR(50),VALUE INTEGER) RETURNS VARCHAR(64) CHARSET utf8
BEGIN
    UPDATE MYCAT_SEQUENCE
    SET current_value = VALUE
    WHERE NAME = seq_name;
    RETURN mycat_seq_currval(seq_name);
    END$$

DELIMITER ;

　　一般来说，每一个表应该对应一个全局序列号；

　　此对应关系在sequence_db_conf.properties配置；

　　表名 = 全局序列号数据库（dn1）

　　2、读写分离

　　经过统计发现，对数据库的大量操作是读操作，一般占到所有操作70%以上。所以做读写分离还是很有必要的，如果不做读写分离，那么从库也是一种很大的浪费。

　　mycat的读写分离也是在scheme.xml里面配置的。配置方式如下:

<writeHost host="hostM1" url="192.168.91.231:3306" user="root" password="123456">
      <!-- can have multi read hosts -->
      <readHost host="hostS2" url="192.168.91.232:3306" user="root" password="123456" />
</writeHost>

　　值得注意的是，读库是附属于写库的，如果写库挂掉之后，读库也就不能使用了。

　　读写分离一般涉及到两个问题：一个是读操作的均衡，是全部走读库？还是部分走读库，部分读写库？    另一个问题，如果同步不及时或者同步出错，或者实时性要求较高，这种场景下，如何强制走写库？

　　首先来看第一个问题，读写均衡问题：

　　scheme.xml配置文件  dataHost标签中有一个balance属性，该属性的不同值表示不同的含义：