常用的分表分库方案

Posted 2021-03-01 smallzhen

什么是数据库的瓶颈？

　　IO瓶颈和CPU瓶颈都会导致数据库的活跃连接数增加，临近数据库可承载活跃连接数的阀值，即可用的数据库连接少甚至无连接可用（崩溃）。

如何应对IO瓶颈？

　　①磁盘读IO瓶颈，数据太多，数据库缓存放不下，每次查询会产生大量的IO导致查询速度低 -> 可考虑分库和垂直分表。

　　②网络IO瓶颈，请求数据过多，网络带宽不够 -> 可考虑分库。

如何应对CPU瓶颈？

　　①SQL查询语句不当，非索引查询过多，导致CPU运算增加  -> 优化SQL。

　　②单标数据量过大，查询扫描行过多，SQL效率低 -> 水平分表

什么是水平分库？

　　水平分库是以字段为依据，根据一定的策略，将一个表中的数据拆分到多个库中。

　　水平分库结果：

• • 每个库的结构一样
  • 每个库的数据不一样，没有交集
  • 所有库并集是全量数据

　　使用场景：系统绝对并发量上来，分表难以根本上解决问题。分库后库多了，IO和CPU的压力得到成倍的缓解。

什么是水平分表？

　　水平分表，以字段为依据，按照一定的策略，将一个表中的数据拆分到多个表中。

　　水平分表结果：

• • 每个表的结构一样
  • 每个表的数据不一样，没有交集
  • 所有表的并集是全量数据

　　使用场景：系统绝对并发量没有上来，只是单标数据量太多，影响了SQL效率，加重了CPU负担（CPU瓶颈）。分表后，表的数据量少了，单次SQL执行效率高，减轻了CPU的负担。

 

什么是垂直分库？

　　垂直分库，是以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。

　　分库结果：

• • 每个库的结构不一样
  • 每个库的数据不一样，没有交集
  • 所有库的并集是全量数据

　　使用场景：系统绝对并发量上来了，并且可以抽象出单独的业务模块。分库后库多了，IO和CPU的压力得到成倍的缓解。到这一步后基本可以服务化了。

 

 

什么是垂直分表？

　　垂直分表，以字段为依据，按照字段的活跃性，将表中的字段拆到不同的表中（主表和拓展表）。

　　分表结果：

• • 每个表的结构不一样
  • 每个表的数据不一样，但每个表的字段至少有一列交集，用于关联数据
  • 所有表的并集是全量数据

　　使用场景：系统的绝对并发量没有上来，表的记录不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间大，查询时会去读磁盘数据产生大量的读IO，产生IO瓶颈。

　　

 

 

　

以上参考来自https://mp.weixin.qq.com/s/ZMBwLp8kNuFuylBOslPL4A