MySQL分库分表总结

Posted 2021-10-19 潇潇雨歇_

一.何为分库分表

分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成 ，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。分库分表包括分库和分表两个部分，在生产中通常包括：垂直分库、水平分库、垂直分表、水平分表四种方式。(大库拆成小库，大表拆成小表)

二.根据病状，对症下药

2.1 问题一： 磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度
解决办法： 分库和垂直分表(大字段和不常用字段拆分到扩展表)。

2.2 问题二：网络IO瓶颈，数据库请求的数据太多，网络带宽不够
解决办法： 分库。

2.3 问题三：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作
解决办法： SQL优化，建立合适的索引，在业务Service层进行业务计算。

2.4 问题四：单表数据量太大，查询时扫描的行太多，SQL效率低，CPU率先出现瓶颈
解决办法：水平分表(指定业务规则分表，降低单表数据量)

三.分库分表实例

3.1 垂直分库
垂直分库是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放在不同的服务器上，它的核心理念是专库专用。

特点：

• 每个库的结构都不一样；
• 每个库的数据也不一样，没有交集；
• 所有库的并集是全量数据；

优点：

• 解决业务层面的耦合，方便实现服务化，业务清晰
• 能对不同业务的数据进行分级管理、维护、监控、扩展等
• 高并发场景下，能一定程度地提升IO、数据库连接数、降低单机硬件资源的瓶颈
• 将表按业务分类，然后分布在不同数据库，可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果

缺点：

• 没有解决单表数据量大的问题 (如果单表的数据量大，读写压力大，性能容易遇到瓶颈)
• 部分业务无法关联 join ，只能通过java程序接口去调用，提供了开发的复杂度（商品，订单信息，会员信息）

3.2 垂直分表
定义：以字段为依据，按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中。

场景：系统绝对并发量并没有上来，表的记录并不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间较大。以至于数据库缓存的数据行减少，查询时会去读磁盘数据产生大量的随机读IO，产生IO瓶颈。

分析：可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据（可能会冗余经常一起查询的数据）放在一起作为主表，非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来，进而减少了随机读IO。拆了之后，要想获得全部数据就需要关联两个表来取数据。但记住，千万别用join，因为join不仅会增加CPU负担并且会讲两个表耦合在一起（必须在一个数据库实例上）。关联数据，应该在业务Service层做文章，分别获取主表和扩展表数据然后用关联字段关联得到全部数据。通常我们按以下原则进行垂直拆分:

• 把不常用(非热点数据)的字段单独放在一张表
• 把text，blob等大字段拆分出来放在附表中
• 经常组合查询的列放在一张表中

特点：

• 每个表的结构都不一样
• 每个表的数据也不一样，一般来说，每个表的字段至少有一列交集，一般是主键，用于关联数据
• 所有表的并集是全量数据

垂直分表逻辑图：

3.3 水平分库

水平分库逻辑图：

概念：以字段为依据，按照一定策略（hash、range等），将一个库中的数据拆分到多个库中。

垂直分库是把不同表拆到不同数据库中，它是对数据行的拆分，不影响表结构

特点：

• 每个库的结构都一样
• 每个库的数据都不一样，没有交集
• 所有库的并集是全量数据

优点：

• 单库的数据保持在一定的量(减少)，有助于性能提高
• 提高了系统的稳定性和负载能力
• 切分的表结构相同，程序改造较少
• 解决单库存储量及性能瓶颈
• 库多了，io和cpu的压力自然可以成倍缓解

缺点：

• 数据的扩容很有难度，维护量大
• 拆分规则很难抽象出来
• 分布式事务的一致性问题部分业务无法关联join，只能通过java程序接口去调用，提供了开发的复杂度
• ACID分布式事务
• 维护成本
• 跨库查询问题
• 分布式全局唯一ID

3.4 水平分表

概念： 以字段为依据，按照一定策略（hash、range等），将一个表中的数据拆分到多个表中。

特点：

• 每个表的结构都一样
• 每个表的数据都不一样，没有交集
• 所有表的并集是全量数据

优点：

• 优化单一表数据量过大而产生的性能问题
• 避免IO争抢并减少锁表的几率
• 库内的水平分表，解决了单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而使得单个表的数据量变小，提高检索性能。
• 表的数据量少了，单次SQL执行效率高，减轻了CPU的负担

缺点：
跟水平分库类似，不赘述

四.分库分表工具

• proxy代理层
  1.myCat
  2.atlas
  3.mysql-proxy
  4.shardingProxy

• jdbc应用层
  1.sharding-sphere(生态圈)
  2.TDDL
  3.sharding-jdbc

五.分库分表步骤

根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。

扩展：MySQL：分库分表与分区的区别和思考

六.总结

一般来说，在系统设计阶段就应该根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量及访问压力不是特别大的情况，首先考虑缓存、读写分离、索引技术等方案。若数据量极大，且持续增长，再考虑水平分库水平分表方案。