阿里Mycat 和京东ShardingSphere:分布式数据库中间件哪家强?
Posted 不剪发的Tony老师
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了阿里Mycat 和京东ShardingSphere:分布式数据库中间件哪家强?相关的知识,希望对你有一定的参考价值。
文章目录
大家好!我是只谈技术不剪发的 Tony 老师。今天给大家介绍两个非常流行的开源分布式数据库中间件:Mycat 和 ShardingSphere(包括 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 3 款产品)。
首先给出它们的功能比较:
Mycat | Sharding-JDBC | Sharding-Proxy | Sharding-Sidecar | |
---|---|---|---|---|
官方网站 | 官方网站 | 官方网站 | 官方网站 | 官方网站 |
源码地址 | GitHub | GitHub | GitHub | GitHub |
官方文档 | Mycat 权威指南 | 官方文档 | 官方文档 | 官方文档 |
开发语言 | Java | Java | Java | Java |
开源协议 | GPL-2.0/GPL-3.0 | Apache-2.0 | Apache-2.0 | Apache-2.0 |
数据库 | mysql Oracle SQL Server PostgreSQL DB2 MongoDB SequoiaDB | MySQL Oracle SQLServer PostgreSQL 任何遵循 SQL92 标准的数据库 | MySQL/PostgreSQL | MySQL/PostgreSQL |
连接数 | 低 | 高 | 低 | 高 |
应用语言 | 任意 | Java | 任意 | 任意 |
代码入侵 | 无 | 需要修改代码 | 无 | 无 |
性能 | 损耗略高 | 损耗低 | 损耗略高 | 损耗低 |
无中心化 | 否 | 是 | 否 | 是 |
静态入口 | 有 | 无 | 有 | 无 |
管理控制台 | Mycat-web | Sharding-UI | Sharding-UI | Sharding-UI |
分库分表 | 单库多表/多库单表 | ✔️ | ✔️ | ✔️ |
多租户方案 | ✔️ | -- | -- | -- |
读写分离 | ✔️ | ✔️ | ✔️ | ✔️ |
分片策略定制化 | ✔️ | ✔️ | ✔️ | ✔️ |
分布式主键 | ✔️ | ✔️ | ✔️ | ✔️ |
标准化事务接口 | ✔️ | ✔️ | ✔️ | ✔️ |
XA强一致事务 | ✔️ | ✔️ | ✔️ | ✔️ |
柔性事务 | -- | ✔️ | ✔️ | ✔️ |
配置动态化 | 开发中 | ✔️ | ✔️ | ✔️ |
编排治理 | 开发中 | ✔️ | ✔️ | ✔️ |
数据脱敏 | -- | ✔️ | ✔️ | ✔️ |
可视化链路追踪 | -- | ✔️ | ✔️ | ✔️ |
弹性伸缩 | 开发中 | 开发中 | 开发中 | 开发中 |
多节点操作 | 分页 去重 排序 分组 聚合 | 分页 去重 排序 分组 聚合 | 分页 去重 排序 分组 聚合 | 分页 去重 排序 分组 聚合 |
跨库关联 | 跨库 2 表 Join ER Join 基于 caltlet 的多表 Join | -- | -- | -- |
IP 白名单 | ✔️ | -- | -- | -- |
SQL 黑名单 | ✔️ | -- | -- | -- |
存储过程 | ✔️ | -- | -- | -- |
Mycat
Mycat 是基于阿里 Cobar 演变而来的一款开源分布式数据库中间件,是一个实现了 MySQL 协议的 Server。前端用户可以把它看做是一个数据库代理,用 MySQL 客户端工具和命令行访问;而其后端可以用 MySQL 原生(Native)协议与多个 MySQL 服务器通信,也可以用 JDBC 协议与大多数主流数据库服务器通信。
对于 DBA,MyCat 就是 MySQL Server,而 MyCat 后面连接的 MySQL Server 就好像是 MySQL 的存储引擎,如 InnoDB、MyISAM 等,因此 Mycat 本身并不存储数据,数据是在后端的 MySQL 上存储的,数据可靠性以及事务等都是由 MySQL 保证的。
对于软件工程师,MyCat 是一个近似等于 MySQL 的数据库服务器。你可以用连接 MySQL 的方式去连接 MyCat(除了端口不同,MyCat 默认端口是 8066 而非 3306),大多数情况下可以用你熟悉的对象映射框架使用 MyCat。但建议对于分片表,尽量使用基础的 SQL 语句,因为这样能达到最佳性能,特别是几千万甚至几百亿条记录的情况下。
对于架构师,MyCat 是一个强大的数据库中间件;不仅仅可以用作读写分离、以及分表分库、容灾备份,而且可以用于多租户应用开发、云平台基础设施。让你的架构具备很强的适应性和灵活性,借助于即将发布的 MyCat 智能优化模块,系统的数据访问瓶颈和热点一目了然,根据这些统计分析数据,你可以自动或手工调整后端存储,将不同的表映射到不同存储引擎上,而整个应用的代码一行也不用改变。
MyCat 目前的发布版本为 1.6,正在开发 Mycat 2.0。提供的关键特性包括:
- 支持 SQL92 标准;
- 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL 等 DB 的常见 SQL 语法;
- 遵守 MySQL 原生协议,跨语言,跨平台,跨数据库的通用中间件代理;
- 基于心跳的自动故障切换,支持读写分离,支持 MySQL 主从,以及 Galera Cluster 集群;
- 支持 Galera for MySQL 集群,Percona Cluster 或者 MariaDB cluster;
- 基于 Nio 实现,有效管理线程,解决高并发问题;
- 支持数据的多片自动路由与聚合,支持 sum、count、max 等常用的聚合函数,支持跨库分页;
- 支持单库内部任意 join,支持跨库 2表 join,甚至基于 caltlet 的多表 join;
- 支持通过全局表,ER 关系的分片策略,实现了高效的多表 join 查询;
- 支持多租户方案;
- 支持分布式事务(弱 xa);
- 支持 XA 分布式事务(1.6.5);
- 支持全局序列号,解决分布式下的主键生成问题;
- 分片规则丰富,插件化开发,易于扩展;
- 强大的 web,命令行监控;
- 支持前端作为 MySQL 通用代理,后端 JDBC 方式支持 Oracle、DB2、SQL Server 、 MongoDB 、巨杉;
- 支持密码加密;
- 支持服务降级;
- 支持 IP 白名单;
- 支持 SQL 黑名单、SQL 注入攻击拦截;
- 支持 prepare 预编译指令(1.6);
- 支持非堆内存(Direct Memory)聚合计算(1.6);
- 支持 PostgreSQL 的 native 协议(1.6);
- 支持 mysql 和 Oracle 存储过程,out 参数、多结果集返回(1.6);
- 支持 zookeeper 协调主从切换、zk 序列、配置 zk 化(1.6);
- 支持库内分表(1.6);
- 集群基于 ZooKeeper 管理,在线升级,扩容,智能优化,大数据处理(2.0开发版)。
ShardingSphere
Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈,它由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar(规划中)这 3 款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。
ShardingSphere 定位为关系型数据库中间件,旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。
ShardingSphere 项目由当当捐入 Apache,并在京东数科逐渐发展壮大,成为业界首个 Apache 分布式数据库中间件项目(据说当初 Mycat 立志也是希望加入 Apache)。ShardingSphere 已经在 2020 年 4 月 16 日成为 Apache 顶级项目(Apache官方发布从 4.0.0 版本开始)。
下面我们分别看看组成 ShardingSphere 的 3 款产品。
Sharding-JDBC
Sharding-JDBC 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。
- 适用于任何基于 JDBC 的 ORM 框架,如:JPA、Hibernate、Mybatis、Spring JDBC Template 或直接使用 JDBC。
- 支持任何第三方的数据库连接池,如:DBCP、C3P0、BoneCP、Druid、HikariCP 等。
- 支持任意实现 JDBC 规范的数据库。目前支持 MySQL、Oracle、SQLServer、PostgreSQL 以及任何遵循 SQL92 标准的数据库。
Sharding-Proxy
Sharding-Proxy 属于和 Mycat 对标的产品,它定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。目前先提供 MySQL/PostgreSQL 版本,它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端(如:MySQL Command Client、MySQL Workbench、Navicat 等)操作数据,对 DBA 更加友好。
- 向应用程序完全透明,可直接当做 MySQL/PostgreSQL 使用。
- 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。
Sharding-Sidecar
Sharding-Sidecar 目前正在规划中,定位为 Kubernetes 的云原生数据库代理,以 Sidecar 的形式代理所有对数据库的访问。 通过无中心、零侵入的方案提供与数据库交互的的啮合层,即 Database Mesh,又可称数据网格。
Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来,它更加关注的是交互,是将杂乱无章的应用与数据库之间的交互有效的梳理。使用 Database Mesh,访问数据库的应用和数据库终将形成一个巨大的网格体系,应用和数据库只需在网格体系中对号入座即可,它们都是被啮合层所治理的对象。
混合架构
Sharding-JDBC 采用无中心化架构,适用于 Java 开发的高性能的轻量级 OLTP 应用;Sharding-Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。
ShardingSphere 是多接入端共同组成的生态圈。 通过混合使用 Sharding-JDBC 和 Sharding-Proxy,并采用同一注册中心统一配置分片策略,能够灵活的搭建适用于各种场景的应用系统,架构师可以更加自由的调整适合于当前业务的最佳系统架构。
总结
Mycat 和 ShardingSphere 都是非常流行的开源分布式数据库中间件,各自具有一些独特的功能,也有很多企业成功应用的案例。通过个人比较这两者的官方文档、社区活跃度等信息,目前 Apache ShardingSphere 体系更加完善,社区更加活跃。这两者都是国人开源产品中的佼佼者,希望能够越来越好!
另外,还有一款值得关注的分布式数据库中间件 DBLE(专注于 MySQL),可以看做 Mycat 增强版。
我是只谈技术不剪发的 Tony 老师,一个专注于数据库领域的分享者。欢迎点赞👍、评论📝、收藏❤️!
以上是关于阿里Mycat 和京东ShardingSphere:分布式数据库中间件哪家强?的主要内容,如果未能解决你的问题,请参考以下文章
京东数科主导的首个Apache基金会项目ShardingSphere进入孵化器
京东数科首个分布式数据库中间件项目ShardingSphere进入Apache基金会孵化器