分库分表后,测试小姐姐都哭了

Posted 阿飞的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分库分表后,测试小姐姐都哭了相关的知识,希望对你有一定的参考价值。

什么?你们的测试是小哥哥?那就不要往下看了,让他们怎么难怎么来。

建议

根据你的业务特点,单表 > 分区 > 单库分表 > 分库分表,在满足业务前提下,优先级从左到右,不接受任何反驳。嘿嘿

背景

做过分表的(单库分表或者分库分表)都知道,在你没有依赖任何中间件之前,使用Navicat或者其他类似工具操作mysql,那将是灾难,如下图所示:

sharding table view

如果是类似取模这类简单算法分表还好说,能一眼根据分片键知道分表结,比如根据用户ID对128取模分表,那么用户ID为128的用户数据就在表tb_user_0中。但是如果是采用类似一致性hash算法或者更复杂的分表算法,那么我们首先需要利用程序根据分片键算出分表结果,然后再到Navicat中对该表进行CRUD。

刚才提到的只能搞定带有分片键的操作,对于那些没有带有分片键条件的操作,例如查询最新的10条数据,那真的只能呵呵了。开发尚且如此困难,测试小姐姐能不哭嘛。马云爸爸说:哪里有困难,哪里就有机会。所以,这就是你和测试小姐姐拉近机会、表现自己的时候。当然不是要你送下面这辆奔驰大G给小姐姐,毕竟不是每个人都是王思聪。不过利用我们所学,给测试小姐姐解决一些问题,还是可以的嘛(这种机会都不抓住,活该你单身):

分库分表后,测试小姐姐都哭了

本文要介绍的,可以优雅解决这个问题的工具就是 sharding-proxy(MyCAT也有类似工具,只是易用性简直就是渣渣)。话不多说,我们先来看看部署sharding-proxy前后使用Navicat访问MySQL的对比效果图,开不开森,激不激动:

image.png

所以,sharding-proxy能带来什么呢?先说优点吧:

  1. 完全屏蔽sharding细节,把它当做一张普通的表增删改查即可(分表算法集成在sharding-proxy的配置文件中,用户不需要care)

  2. 打开数据库后,不再是看到满屏的表,而是只有几张简单的表(如上图左侧所示)。

  3. 一个sharding-proxy可以代理多个数据源,测试只需要对接一个sharding-proxy即可。

再说缺点:

  1. 无法操作"设计表",即不能看到DDL。但是可以通过F6快捷键后show create table table_name查看表结果(以Navicat为例);

  2. sharding-sphere不支持的语法(非常有限),也不能在Navicat上操作。

是不是感觉很厉害的样子,OK,让我们花10分钟给测试小姐姐一个惊喜吧(部署sharding-proxy)。

sharding-proxy

部署sharding-proxy非常简单,只需如下几个简单的步骤。另外,本次部署以sharding-proxy-3.0.0版本为例。

下载

下载后解压,我们看到只有简单的三个目录:lib目录就是sharding-proxy核心代码,以及依赖的JAR包;bin目录就是存放启停脚本的;conf目录就是存放所有配置文件,包括sharding-proxy服务的配置文件、数据源以及sharding规则配置文件和项目日志配置文件。

lia目录没什么好说的。bin目录里面就是window或者Linux环境启停脚本。sharding-proxy启动的默认端口是3307,如果要自定义端口(比如3308),执行sh start.sh 3308即可(window环境修改start.bat即可)。所有重要的配置都在conf目录下。

配置

  • logback.xml

首先就是最简单的日志配置文件logback.xml,笔者对其简单的修改了一下,你可以任意自定义,这个没什么好说的,非常简单。

  • server.xml

接下来就是与sharding-proxy服务相关的配置文件server.yaml,笔者的配置文件如下所示:

orchestration:
  nameorchestration_afei
  overwritetrue
  registry:
    serverLists: 172.29.3.245:2181,172.29.3.245:2182,172.29.3.245:2183
    namespaceorchestration_afei

# 用户通过Navicat访问sharding-proxy的用户名密码
authentication:
  usernameafei
  passwordafei

sharding-proxy相关配置,建议sql.show设置为true,方便定位问题
props:
  max.connections.size.per.query: 1
  acceptor.size: 16 
  executor.size: 16 
  proxy.transaction.enabledfalse
  proxy.opentracing.enabledfalse
  sql.showtrue


  • config.xml

接下来就是最重要的数据源以及sharding规则配置文件config-*.xml了。需要说明的是,一个sharding-proxy实例能支持多个数据源,只需多个config.yaml即可。例如支付和账户两个数据源,那么添加两个配置文件即可:config-pay.yaml,config-account.yaml,配置参考:

schemaName: afei

dataSources:
  afei:
    url: jdbc:mysql://172.29.2.239:3311/afei?serverTimezone=UTC&useSSL=false
    username: afei
    password: afei
    autoCommit: true
    connectionTimeout: 10000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50

shardingRule:
  tables:
    # tb_batch_trade_detail的分表算法是根据trade_id对128取模
    tb_batch_trade_detail:
      actualDataNodes: afei.tb_batch_trade_detail${0..127}
      tableStrategy:
        inline:
          shardingColumn: trade_id
          algorithmExpression: tb_batch_trade_detail${trade_id % 128}    
    # tb_repay_file_detail的分表算法是在RepayFileDetailShardingAlgorithm中自定义      
    tb_repay_file_detail:
      actualDataNodes: afei.tb_repay_file_detail${0..127}
      tableStrategy:
        standard:
          shardingColumn: project_no
          preciseAlgorithmClassName: com.afei.sharding.RepayFileDetailShardingAlgorithm
  bindingTables:

  # 默认数据库没有分的策略
  defaultDatabaseStrategy:
    none:
  # 默认表没有分的策略
  defaultTableStrategy:
    none:
  defaultKeyGeneratorClassName: io.shardingsphere.core.keygen.DefaultKeyGenerator

对应自定义分表算法,只需要将对应算法的class文件放到conf目录下即可,参考目录结构:

com
  ├── afei/sharding/RepayFileDetailShardingAlgorithm.class
config-pay.yaml
config-account.yaml
logback.xml
server.yaml


这个自定义分表算法的源码非常简单,参考sharding-sphere中的分表,实现自己的算法即可,参考源码:

import io.shardingsphere.api.algorithm.sharding.PreciseShardingValue;
import io.shardingsphere.api.algorithm.sharding.standard.PreciseShardingAlgorithm;
import java.util.Collection;

public class RepayFileDetailShardingAlgorithm implements PreciseShardingAlgorithm<String{

    private static final int SHARDING_COUNT = 128;

    @Override
    public String doSharding(final Collection<String> availableTargetNames, final PreciseShardingValue<String> shardingValue) {
        String hashCode = String.valueOf(shardingValue.getValue().hashCode());
        long segment = Math.abs(Long.parseLong(hashCode)) % SHARDING_COUNT;

        for (String each : availableTargetNames) {
            if (each.equals( "tb_repay_file_detail"+segment )) {
                return each;
            }
        }
        throw new UnsupportedOperationException();
    }

}


  • Navicat

Navicat connect sharding proxy


以上是关于分库分表后,测试小姐姐都哭了的主要内容,如果未能解决你的问题,请参考以下文章

❤️ 6个Python办公黑科技,工作效率提升100倍!HR小姐姐都馋哭了(附代码)❤️

❤️ 6个Python办公黑科技,工作效率提升100倍!HR小姐姐都馋哭了(附代码)❤️

迷倒小姐姐的程序员小哥亲自告诉你什么叫凭本事单身,看完我笑哭了~

亿万级分库分表后如何进行跨表分页查询

MySQL实现分库分表代码实战(Mango中间件)

分库分表小结-论QA的自我修养