分布式数据库中间件DDM的实现原理

Posted 2020-11-19

随着数据量不断增大，传统的架构模式难以解决业务量不断增长所带来的问题，特别是在业务成线性、甚至指数级上升的情况。此时我们不得不通过水平扩展，把数据库放到不同服务器上来解决问题，也就是我们说的数据库中间件。


作为数据库中间件，分布式数据库中间件DDM将底层数据库存储引擎以集群方式管理起来，用户使用非常方便。应用程序不需要关心具体有多少分片。类似操作单机数据库，用户通过DDM管理控制台进行数据库运维，使用JDBC等驱动服务或SQL客户端连接数据库，进行数据读写。

DDM服务的业务架构图示

分片是解决数据库存储容量限制的直接途径。分片包括垂直分片与水平分片两种方式。

垂直分片

垂直分片又叫纵向分割，即以逻辑表为单位，把原有数据库切分成多个数据库。切分后不同的表存储在不同的数据库上。

垂直分片与业务架构设计有密切的联系。比如从业务领域对系统进行架构优化，分成多个子业务系统，各个子业务系统耦合度较低。子业务系统间以接口方式进行数据通信和数据交换。垂直拆分后业务清晰，拆分规则明确，系统之间容易整合与扩展。一般用于数据库上层架构设计。

垂直分片示意图

水平分片

水平分片又叫横向分割，即以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上。

水平分片主要用业务架构无法继续细分，而数据库中单张表数据量太大，查询性能下降的场景。通过水平分片，即解决单库容量问题，同时提高并发查询性能。

水平分片示意图

DDM实现了自动水平分片，应用无需关心某个数据该存储在哪一块分片上。对逻辑表水平分片需要依据一定的分片规则，例如一个订单跟踪系统（见上图），我们选取订单号(OrderId)作为拆分键，分别对“订单流水表”、“订单详情表”以及“物流跟踪表”进行水平拆分，拆分规则为对键值Hash后求模，则分片计算规则如下：

H(Key(OrderId)) = Hash(Key(OrderId))%N

其中，N表示一共有N个数据分片，H(Key(OrderId))表示该订单经过订单号Hash并求模后存储的分片编号。

分片后数据存储示意图

路由分发
路由分发与水平分片同为DDM的基础功能。在分布式数据库中，路由的作用即将SQL语句进行解析，并转发到正确的分片上，保证SQL执行后得到正确的结果，并且节约QPS资源。例如：订单支付系统包含了shard0、shard1、shard2三个分片，订单号2017010112345678的订单数据存储在shard0分片上，则应该将以下语句路由分发到shard0分片上执行。

select Customer, OrderStatus, CreateDate from Order

where OrderId = ‘2017010112345678‘;

如果同时路由到shard0、shard1、shard2三个分片，会造成多余的查询，浪费资源；如果路由到shard1、shard2分片，则得不到正确的返回结果。

DDM对单张表的路由解析流程如下：

单张表的路由解析流程

读写分离

数据库中对计算和缓存资源消耗较多的往往是密集或复杂的SQL查询。当系统资源被查询语句消耗，反过来会影响数据写入操作，进而导致数据库整体性能下降，响应缓慢。因此，当数据库CPU和内存资源占用居高不下，且读写比例较高时，可以为数据库添加只读实例。

添加只读实例的作用有以下：

1、将查询非事务性查询SQL路由到只读实例中执行，主实例上执行事务性SQL，在很大程度上缓解主实例上的S锁与X锁的竞争。

2、对只读实例上的表可配置不提供事务支持的数据库引擎，进而提升查询效率。

3、增加只读实例，也相当于数据库横向扩展，直接增加负载能力，同时增加数据冗余，确保数据库高可用。

DDM服务实现了自动读写分离，用户购买了RDS只读实例后，将只读实例信息同步到DDM中即可，无需再做其他配置。同时，DDM支持用户在SQL中自定义读写分离策略，具体用法请参考如何实现读写分离。

读写分离示意图

平滑扩容

随着业务增长，逻辑库存储空间不足，并发压力较大，此时可对DDM实例逻辑库进行平滑扩容，通过增加RDS实例来提高数据存储能力与并发支持能力。

平滑扩容是一种水平扩容方式，通过增加RDS实例的数量来提升总体数据存储容量，把分库平滑扩容到新增加的RDS实例上，保证所有的数据都是均衡分布在每个分库上，降单个RDS实例的处理压力。平滑扩容原理如下图所示。

平滑扩容原理

以上就是对分布式数据库中间件DDM实现原理的浅析，目前华为云DDM推出了免费体验活动，想要了解更多，欢迎前往分布式数据库中间件查看。