MyCat批量插入

Posted 2023-04-27

参考技术A web项目使用 mybatis+mycat+mysql 的结构。
mycat作为中间件，mysql 使用多库分表

存在两张表： t_table (表的元数据信息) 和 t_table_field (表的字段信息)。
逻辑上， t_table_field 是作为 t_table 的子表。

t_table_field 某业务需求，为了减少 mybatis <> mycat 之间的网络IO，考虑使用批量插入数据。

mycat要使用批量插入数据，需要注意一下两点：

sql需要指明 Catlet -> BatchInsertSequence

sequence_db_conf.properties

schema.xml

t_table 和 t_table_field 表分了2个节点，rule 是根据ID取模（id % 2）分片。
t_table_field 表的配置要声明 primaryKey autoIncrement 属性。

MyCat实际发送到MySQL的SQL是组装上 ID 字段的

MyCat不支持的SQL语句类型

SELECT：

Ø 跨分片(实体库)的交叉查询

Ø 跨节点的联合查询 (如用户库的表和平台库的表做联合查询) 

INSERT：

Ø 插入的字段不包含分片字段 (如插入tbl_user_base_info表，没有提供user_id列)

Ø 插入的分片字段找不到对应分片

Ø 复制插入Insert into…select… 

Ø 多行插入 insert into tab_a(c1,c2) values(v1,v2),(v11,v21)… 

UPDATE：

Ø 更新的列包含分片列

Ø 多表更新 update a, b set a.nation=’China’, b.pwd=’123456’ where a.id=b.id 

Ø 复杂更新 update a, b set a.nation=’China’ where a.id=b.id;  但支持子查询方式 update a set a.nation=’China’ where id in (select id from b);

DELETE：

Ø 复杂删除 delete a from a join b on a.id=b.id;  支持子查询方式 delete from a where a.id in (select id from b), 但表不能起别名

其它：

Ø Call procedure()   MyCat未支持存储过程定义, 因而不允许调用存储过程，但可通过注解来调用各个分片上的存储过程

Ø Select func(); 不支持这种方式直接调用自定义函数， 但支持 select id, func() from employee 只需employee所在的所有分片上存在这个函数。MySql自带函数可随意使用。

 

 

注意事项：

Ø Order by字段必须出现在select中（MyCat先将结果取出，然后排序）

Ø Group by务必使用标准语法 select count(1),type from tab_a group by type;

Ø MyCat的一些自带函数 sum,min,max等可以正确使用，但多分片执行的avg有bug，执行的结果是错误的

Ø 谨慎使用子查询，外层查询没有分片查询条件， 则会在所有分片上执行(子查询内外层的表一样较为特殊)

Ø 除了分片规则相同、ER 分片、全局表、以及SharedJoin，其他表之间的 Join 问题目前还没有很好的解决，需要自己编写 Catlet 来处理

Ø 不支持 Insert into 中不包括字段名的 SQL

  insert into x select from y 的 SQL，若 x 与 y 不是相同的分片规则，则不被支持，此时会涉及到跨分片转移

Ø 分片的 Table，目前不能执行 LockTable 这样的语句，因为这种语句会随机发到某个节点，也不会全部分片锁定，经常导致死锁问题，此类问题常常出现在 sqldump 导入导出 SQL 数据的过程中。

Ø 目前 sql 解析器采用 Druid,再某些 sql 例如 order，group，sum ，count 条件下，如果这类操作会出现

兼容问题，比如：

select t.name as name1 from test order byt.name

  这条语句 select 列的别名与 orderby 不一致解析器会出现异常，所以在对列加别名时候要注意这类操作异常，特别是由 jpa 等类似的框架生成的语句会有兼容问题。

SQL where关键字缺陷

(1).where 写成wher 导致全表数据删除:delete from tablenamewher id=x;

(2).where前面没有空格导致全表数据被:upate:update tablename set a=bwhere id=x;

(2).where 前面没有空格导致全表查询:select * from tablename set a=bwhere id=x;

(4).目前sql解析器采用Druid,在某些sql,例order，group，sum，count 条件下,会出现兼容问题，group by 字段要出现在select 语句中