#徐员外#《MyCat权威指南》|100本技术书之4

Posted 2021-04-28 xuyuanwai

假如你有10亿条数据，你准备怎么弄？

你可能会说：“10亿条？没想过，因为我的系统现在的数据不到100万条”。

你也有可能会说：“哈哈，10亿条，我要笑醒了，不知道有多少投资人要排队进场了，有钱了老子请人，请10个DBA，一半工作一半睡觉…….”

 

现实中，除了一些比较好的互联网项目，大部分的项目数据量都没有达到1000万，程序员没遇到哪里会想这么多？前几年某连锁酒店泄露出来的2000万条开房数据就让很多有心搞大数据练手的程序员欣喜若狂了，大家有需要查的可以@徐员外，说不定有惊喜呢？

 

今天要介绍的这个技术是分布式数据库拆解方面最好的工具之一，叫Mycat，基于阿里开源的项目cobar发展起来的，它的前世今生在《MyCat权威指南》这本手册里面有写到，剧情有点意思，据说某位技术大牛在阿里写了一套分布式数据存储解决方案，支持到50亿/天的天量数据存储访问，某天大牛走了，其他人搞不定了，阿里就把这个技术开源了。。。。。。

 

说了这么多，我只关心的是这项技术到底怎么牛、是个什么原理、如何用、未来前景怎么样？

 

MyCAT就是

一个彻底开源的，面向企业应用开发的“大数据库集群”

支持事务、ACID、可以替代mysql的加强版数据库

一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

 

MyCAT的关键特性:

支持 SQL 92标准

支持Mysql集群，可以作为Proxy使用

支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL  Server使用

支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群

自动故障切换，高可用性

支持读写分离，支持Mysql双主多从，以及一主多从的模式

支持全局表，数据自动分片到多个节点，用于高效表关联查询

支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询

多平台支持，部署和实施简单

MyCAT架构

如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。

 

支持多种数据库

钱景

垂直切分 

水平切分

分片策略

MyCAT支持水平分片与垂直分片：

水平分片：一个表格的数据分割到多个节点上，按照行分隔。

垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

 

1、Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。

2、Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。

3、DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上

 

具体实现

最后，通过下面我录的一个完整例子的视频让大家更直观的掌握此项技术