分库分表利器——sharding-sphere
Posted ynyhl
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分库分表利器——sharding-sphere相关的知识,希望对你有一定的参考价值。
背景
得不到的东西让你彻夜难眠,没有尝试过的技术让我跃跃欲试。
本着杀鸡焉用牛刀的准则,我们倡导够用就行,不跟风,不盲从。
所以,结果就是我们一直没有真正使用分库分表。曾经好几次,感觉没有分库分表(起码要分表),项目就做不下去了,但是由于跨部门、工具约束、项目被砍等各种原因最终都偃旗息鼓,乖乖的搞单表加索引去了。
应该是没有及时同步公司内部知识库的原因,过去的几次分库分表的尝试也是让人哭笑不得。公司内部流传着一件上古神器,可以解决分表问题。
既然是上古神器,那么使用的流程肯定也是非常原始。没错,因为是基于windows系统写的一个桌面程序,所以必须到windows平台安装执行,而公司绝大多数已经不用windows系统了。针对这个问题,有两个解决方式,一种是找台式机,一种是安装虚拟机。
我选择了后者,毕竟自己安装,独立自主,可以随心所欲的操作。好了,环境算是有了,这时候肯定要有个教程,毕竟口口相传这种模式会随着时间的推移慢慢变得不好使了,尤其是使用场景不多的情况下。
打开教程的那一刻,仿佛拿到的是易筋经这样的武功秘籍,里面只有几张内功心法似的截图,要想参透,全靠自己领悟。
睁大眼睛,在放大缩小拖拽各种操作中,领会截图的真正含义,生怕出现像漏看“欲练此功,必先自宫”的下半句“如不自宫,也能成功”带来的惨痛教训经历。
每一步都很小心,然后点击相应的神奇按钮。一通操作,Duang,分表就完成了,而且连相应的ibatis文件都生成好了。你需要做的就是在代码里面调用相应接口就好了。
可以想见,作为上古神器,自有其光芒的地方,但是可能因为年久失修,所以理解上会有些难度。虽然一通操作猛如虎,但是回头让你再详述下具体的流程可能已经忘得差不多了。
后来,在部门内部是有小伙伴专门研究过并做了分享,但是鉴于使用场景不多,所以没有引起大家过多的关注。公司内部也有其他部门引进或者自研出了更好的工具,但是没有参加分享,所以也是一度搁置。
这次的项目按照老大一贯扩展性的做法,应该是要做分表的了,没成想,初步过方案的时候说分啥表,现在的量级单表完全够用。好吧,虽然表没分成,但是接触到了分表利器sharding-sphere。
sharding-sphere
简介
Sharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能,可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
官网
Github
https://github.com/apache/shardingsphere
三大核心模块分别是Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar。
Sharding-JDBC
定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。
Sharding-Proxy
定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。 目前先提供mysql版本,它可以使用任何兼容MySQL协议的访问客户端(如:MySQL Command Client, MySQL Workbench等)操作数据,对DBA更加友好。
Sharding-Sidecar
定位为Kubernetes或Mesos的云原生数据库代理,以DaemonSet的形式代理所有对数据库的访问。 通过无中心、零侵入的方案提供与数据库交互的的啮合层,即Database Mesh,又可称数据网格。
sharding-sphere-example
在Github上分别有三个项目,分别是sharding-sphere、sharding-sphere-doc和sharding-sphere-example。从字面就可以看出每个项目是做什么的。
既然是要入门,那就clone下sharding-sphere-example这个项目。
1、克隆项目
在命令行执行git clone https://github.com/sharding-sphere/sharding-sphere-example.git
完成后,就可以看到sharding-sphere-example项目,导入intellij idea中。
2、编译项目
进入项目根目录下,编译项目。
我这边下载的项目sharding-sphere.version是3.0.0.M2-SNAPSHOT,编译的时候一直报该版本找不到,无法下载,去中央仓库也没有找到。
想着可能要本地编译打包,所以就换成了3.0.0.M1版本,编译通过。
3、配置数据源
因为是本机测试,所以在本地配置mysql数据库。
4、编写数据分片代码
sharding-sphere-example项目中有基于不同场景包括spring-boot、jpa、mybatis的具体分库分表的实例代码。
本文主要结合sharding-sphere官方文档给出的数据分片代码讲解如何实现分库分表的。
测试类ShardingDataSource(自建测试类,来源http://shardingsphere.io/document/current/cn/manual/sharding-jdbc/usage/sharding/)
1 package practice; 2 3 import io.shardingsphere.core.api.ShardingDataSourceFactory; 4 5 import io.shardingsphere.core.api.config.ShardingRuleConfiguration; 6 7 import io.shardingsphere.core.api.config.TableRuleConfiguration; 8 9 import io.shardingsphere.core.api.config.strategy.InlineShardingStrategyConfiguration; 10 11 import io.shardingsphere.example.jdbc.fixture.DataRepository; 12 13 import org.apache.commons.dbcp.BasicDataSource; 14 15 import javax.sql.DataSource; 16 17 import java.sql.SQLException; 18 19 import java.util.HashMap; 20 21 import java.util.Map; 22 23 import java.util.Properties; 24 25 import java.util.concurrent.ConcurrentHashMap; 26 27 public class ShardingDataSource { 28 29 public static void main(String[] args)throws SQLException { 30 31 ShardingDataSource shardingDataSource =new ShardingDataSource(); 32 33 DataSource dataSource = shardingDataSource.sharding(); 34 35 new DataRepository(dataSource).demo(); 36 37 } 38 39 public DataSource sharding()throws SQLException { 40 41 // 配置真实数据源 42 43 Map dataSourceMap =new HashMap<>(); 44 45 // 配置第一个数据源 46 47 BasicDataSource dataSource1 =new BasicDataSource(); 48 49 dataSource1.setDriverClassName("com.mysql.jdbc.Driver"); 50 51 dataSource1.setUrl("jdbc:mysql://127.0.0.1:3306/ds0"); 52 53 dataSource1.setUsername("root"); 54 55 dataSource1.setPassword("root"); 56 57 dataSourceMap.put("ds0", dataSource1); 58 59 // 配置第二个数据源 60 61 BasicDataSource dataSource2 =new BasicDataSource(); 62 63 dataSource2.setDriverClassName("com.mysql.jdbc.Driver"); 64 65 dataSource2.setUrl("jdbc:mysql://127.0.0.1:3306/ds1"); 66 67 dataSource2.setUsername("root"); 68 69 dataSource2.setPassword("root"); 70 71 dataSourceMap.put("ds1", dataSource2); 72 73 // 配置Order表规则 74 75 TableRuleConfiguration orderTableRuleConfig =new TableRuleConfiguration(); 76 77 orderTableRuleConfig.setLogicTable("t_order"); 78 79 orderTableRuleConfig.setActualDataNodes("ds${0..1}.t_order${0..1}"); 80 81 // 配置分库 + 分表策略 82 83 orderTableRuleConfig.setDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id","ds${user_id % 2}")); 84 85 orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id","t_order${order_id % 2}")); 86 87 orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_item_id","t_order_item${order_item_id % 2}")); 88 89 // 配置分片规则 90 91 ShardingRuleConfiguration shardingRuleConfig =new ShardingRuleConfiguration(); 92 93 shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig); 94 95 // 配置order_item表规则... 96 97 TableRuleConfiguration orderItemTableRuleConfig =new TableRuleConfiguration(); 98 99 orderItemTableRuleConfig.setLogicTable("t_order_item"); 100 101 orderItemTableRuleConfig.setActualDataNodes("ds${0..1}.t_order_item${0..1}"); 102 103 shardingRuleConfig.getTableRuleConfigs().add(orderItemTableRuleConfig); 104 105 // 获取数据源对象 106 107 return ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig,new ConcurrentHashMap(),new Properties()); 108 109 } 110 111 }
注意
1、代码中类似"ds{0..1}.t_order{0..1}"成为行表达式,形如"{ expression }或->{ expression }"。该表达式可用于配置数据节点和配置分片算法。
${begin..end}表示范围区间,即表示从begin到end个
${[unit1, unit2, unit_x]}表示枚举值
2、orderTableRuleConfig.setActualDataNodes("ds{0..1}.t_order{0..1}");
这里表示的是使用行表达式配置数据节点即数据库分别是ds0、ds1,表分别是t_order0、t_order1。
该表达的等价组合是:ds0.t_order0, ds0.t_order1, ds1.t_order0, ds1.t_order1。
3、orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id", "t_order${order_id % 2}"));
这里表示的是使用行表达式配置分片算法。该行表示针对t_order表中的元素按照order_id模2将不同的元素放进不同的表中。
比如order_id=5,5%2=1,则放入t_order1中
order_id=6, 6%2=0, 则放入t_order0中
4、除此以外还要一些类似"逻辑表"这样的概念,可以到官方文档自行查询。
工具类DataRespository(该类来源sharding-sphere-example项目)
1 /* 2 3 * Copyright 2016-2018 shardingsphere.io. 4 5 * 6 7 * Licensed under the Apache License, Version 2.0 (the "License"); 8 9 * you may not use this file except in compliance with the License. 10 11 * You may obtain a copy of the License at 12 13 * 14 15 * http://www.apache.org/licenses/LICENSE-2.0 16 17 * 18 19 * Unless required by applicable law or agreed to in writing, software 20 21 * distributed under the License is distributed on an "AS IS" BASIS, 22 23 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 24 25 * See the License for the specific language governing permissions and 26 27 * limitations under the License. 28 29 * 30 31 */ 32 33 package io.shardingsphere.example.jdbc.fixture; 34 35 import io.shardingsphere.core.api.HintManager; 36 37 import javax.sql.DataSource; 38 39 import java.sql.Connection; 40 41 import java.sql.PreparedStatement; 42 43 import java.sql.ResultSet; 44 45 import java.sql.SQLException; 46 47 import java.sql.Statement; 48 49 public class DataRepository { 50 51 private final DataSourcedataSource; 52 53 public DataRepository(final DataSource dataSource) { 54 55 this.dataSource = dataSource; 56 57 } 58 59 public void demo()throws SQLException { 60 61 createTable(); 62 63 insertData(); 64 65 System.out.println("1.Query with EQUAL--------------"); 66 67 queryWithEqual(); 68 69 System.out.println("2.Query with IN--------------"); 70 71 queryWithIn(); 72 73 System.out.println("3.Query with Hint--------------"); 74 75 queryWithHint(); 76 77 System.out.println("4.Drop tables--------------"); 78 79 dropTable(); 80 81 System.out.println("5.All done-----------"); 82 83 } 84 85 private void createTable()throws SQLException { 86 87 execute("CREATE TABLE IF NOT EXISTS t_order (order_id BIGINT NOT NULL AUTO_INCREMENT, user_id INT NOT NULL, status VARCHAR(50), PRIMARY KEY (order_id))"); 88 89 execute("CREATE TABLE IF NOT EXISTS t_order_item (order_item_id BIGINT NOT NULL AUTO_INCREMENT, order_id BIGINT NOT NULL, user_id INT NOT NULL, PRIMARY KEY (order_item_id))"); 90 91 } 92 93 private void insertData()throws SQLException { 94 95 for (int i =1; i <10; i++) { 96 97 long orderId = insertAndGetGeneratedKey("INSERT INTO t_order (user_id, status) VALUES (10, ‘INIT‘)"); 98 99 execute(String.format("INSERT INTO t_order_item (order_id, user_id) VALUES (%d, 10)", orderId)); 100 101 orderId = insertAndGetGeneratedKey("INSERT INTO t_order (user_id, status) VALUES (11, ‘INIT‘)"); 102 103 execute(String.format("INSERT INTO t_order_item (order_id, user_id) VALUES (%d, 11)", orderId)); 104 105 } 106 107 } 108 109 private long insertAndGetGeneratedKey(final String sql)throws SQLException { 110 111 long result = -1; 112 113 try ( 114 115 Connection connection =dataSource.getConnection(); 116 117 Statement statement = connection.createStatement()) { 118 119 statement.executeUpdate(sql, Statement.RETURN_GENERATED_KEYS); 120 121 try (ResultSet resultSet = statement.getGeneratedKeys()) { 122 123 if (resultSet.next()) { 124 125 result = resultSet.getLong(1); 126 127 } 128 129 } 130 131 } 132 133 return result; 134 135 } 136 137 private void queryWithEqual()throws SQLException { 138 139 String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.user_id=?"; 140 141 try ( 142 143 Connection connection =dataSource.getConnection(); 144 145 PreparedStatement preparedStatement = connection.prepareStatement(sql)) { 146 147 preparedStatement.setInt(1,10); 148 149 printQuery(preparedStatement); 150 151 } 152 153 } 154 155 private void queryWithIn()throws SQLException { 156 157 String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.user_id IN (?, ?)"; 158 159 try ( 160 161 Connection connection =dataSource.getConnection(); 162 163 PreparedStatement preparedStatement = connection.prepareStatement(sql)) { 164 165 preparedStatement.setInt(1,10); 166 167 preparedStatement.setInt(2,11); 168 169 printQuery(preparedStatement); 170 171 } 172 173 } 174 175 private void queryWithHint()throws SQLException { 176 177 String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id"; 178 179 try ( 180 181 HintManager hintManager = HintManager.getInstance(); 182 183 Connection connection =dataSource.getConnection(); 184 185 PreparedStatement preparedStatement = connection.prepareStatement(sql)) { 186 187 hintManager.addDatabaseShardingValue("t_order","user_id",11); 188 189 printQuery(preparedStatement); 190 191 } 192 193 } 194 195 private void printQuery(final PreparedStatement preparedStatement)throws SQLException { 196 197 try (ResultSet resultSet = preparedStatement.executeQuery()) { 198 199 while (resultSet.next()) { 200 201 System.out.print("order_item_id:" + resultSet.getLong(1) +", "); 202 203 System.out.print("order_id:" + resultSet.getLong(2) +", "); 204 205 System.out.print("user_id:" + resultSet.getInt(3)); 206 207 System.out.println(); 208 209 } 210 211 } 212 213 } 214 215 private void dropTable()throws SQLException { 216 217 execute("DROP TABLE t_order_item"); 218 219 execute("DROP TABLE t_order"); 220 221 } 222 223 private void execute(final String sql)throws SQLException { 224 225 try ( 226 227 Connection connection =dataSource.getConnection(); 228 229 Statement statement = connection.createStatement()) { 230 231 statement.execute(sql); 232 233 } 234 235 } 236 237 }
注意
1、createTable
该方法会根据配置的数据节点表达式创建分表。这里分别创建t_order和t_order_item两张逻辑表。
2、insertData
该方法同样根据配置的数据分片表达书创建数据
3、queryWithEqual等方法
这些方法是不同的查询场景,有精确查询也有范围查询
4、queryWithHint
该方法比较特殊。
通过解析SQL语句提取分片键列与值并进行分片是Sharding-Sphere对SQL零侵入的实现方式。若SQL语句中没有分片条件,则无法进行分片,需要全路由。
好比queryWithHint这个方法中的"String sql = "SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id";"就没有包含路由信息,即where
条件语句中没有order_id和user_id的信息。
所以该方法中通过强制指定路由信息进行路由。"hintManager.addDatabaseShardingValue("t_order", "user_id", 11);"这里执行user_id为11的条件,通过这个条件也可以推测出是只会路由到ds1库中(11%2=1)。
5、dropTable
该方法用于清理现场,将所有表和表数据清除。
5、执行结果
执行完代码,控制台打印
1.Query with EQUAL-------------- 2.Query with IN-------------- 3.Query with Hint-------------- 4.Drop tables-------------- 5.All done-----------
执行代码前,只有两个数据库ds0,ds1,执行代码后得到结果如下图所示
小结
sharding-sphere是一天非常强大的分布式数据库中间件解决方法。
有简单易懂的行表达式用于配置数据节点和数据分片算法。
有自己的诸多大杀器,比如强制路由等。
官方文档齐全,实例代码项目case较全,能够在较短时间完成分库分表。
本篇通过一个简单的demo代码,大致了解了sharding-sphere(主要是sharding-jdbc)的基本玩法,后续有时间可以学习下底层的设计和实现原理。
作者:Jackie_Zheng
链接:https://www.jianshu.com/p/952108f777a3
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
以上是关于分库分表利器——sharding-sphere的主要内容,如果未能解决你的问题,请参考以下文章