微服务链路之测试环境快速部署

Posted 2021-03-14 sea520

一般公司都会有开发环境、测试环境、线上环境，测试环境主要用于给测试人员测试每次新功能开发后提交的代码。随着公司业务的增长，这时候同时测试的新功能会越来越多，之前搭建的测试环境，一般是一到三个，这时候同时测试的功能数量远远大于测试环境的个数，就会导致测试人员会等待，有点像一个双核cpu要执行4个任务，并且每个任务不能切换执行，所以只能一个一个执行完，这样的执行过程就会导致测试的效率低下。对于这个问题，通常我们有几种解决方式。其中最简单的就是再多增加几套测试环境，这个方式也是业界用的最多的，它的优势在于新的环境是一套完整的隔离的环境，对其他环境没有影响，劣势在于每次搭建这样一套完整的测试环境需要所有的应用都部署一次，这个过程需要很多硬件资源，同时需要所有应用都在代码里面增加一个环境的配置文件然后再发布一次，整个过程下来是很耗费时间的。这时候就有了第二种方式，那就是只部署需要测试的几个应用，通过传递请求头参数，同时改造底层的服务调用框架，这时候部署的几个应用的调用链路还是是完整的，同时对于测试的功能也是完全隔离的，这样的方式能显著提高应用部署到新的测试环境，提供测试的测试效率。本文就基于后面的方式给出一些技术方案和一些遇到的问题。

由于我们后端应用的微服务的构建基于dubbo和rocketmq,所以我们对这两个框架进行改造来适应我们的测试环境快速搭建。

下面是我们要实现的一个链路调用图：

下文描述的主环境或者主测试环境就是qa-test，测试环境就是qa-test1。

从图中可以看出，我们要保证主环境是一直可用的，对于测试环境，我们需要确保测试环境里面部署了就调用测试环境的应用，测试环境没有对应的应用的部署就调用主环境的应用。有了这个目标后，我们就知道改造的技术点。由于我们的改造链路调用流程只在测试环境生效，同时为了对开发透明，开发不需要修改任何代码，所以我们选择使用javaagent的方式。在字节码增强这个技术领域，有asm和javassist两个框架可以使用，但都是比较偏底层的api，使用起来难免有些难度，所以我们使用了bytebuddy，bytebuddy基于asm进行封装，对上层提供了更简易的api，这样让我们实现字节码增强的开发工作量大大降低。有了buteddy这个框架以后，我们只需要关注具体需要增强的代码块。

对于dubbo，我们在provider注册的时候带上环境参数，然后在consumer端提取请求参数选择对应的invoker进行调用。对于rocketmq，我们修改broker的分发逻辑，通过消息的环境属性来选择分发给对应环境的consumer group，在客服端，通过agent来加上环境参数到消息里面然后进行消息发送。

面临的问题：

跨线程调用的参数传递，比如应用在线程1里面消费了数据后，在另一个线程2里面调用rpc或者发送mq，这时候需要线程1的参数传递给线程2。

对于这个问题，我们使用transmittable-thread-local这个框架来解决跨线程的参数传递。

对于主环境消费的批量消息，这些消息包含了多个环境，然后这些消息会进行远程调用，这时候没有办法让每个消息都能发送到正确的环境。

对于这个问题，暂时没有更好的解决办法，如果真遇到了这个场景就把这个功能的测试放到主测试环境。

数据库结构变更，通常产生了增加字段，删除字段等。这时候要求主环境和测试环境都兼容新的表结构，否则需要在测试环境单独建一个数据库，这样的话会增加部署的成本。

对于这个问题，通常结构变更都是向前兼容的，并且我们的每个主环境的结构都是一致的，所以这个问题的出现概率比较小，同时一旦出现了可以使用主环境或者单独部署一个数据库来解决。

总结

在实现上面的技术点的时候遇到了一些坑，但是最后都顺利解决了，其中最值得一提的是加载bytebuddy的默认classloader是AppClassLoader，但是使用springboot的项目里面通过Java -jar的方式启动的话，加载项目的class是LaunchedURLClassLoader，这会导致bytebuddy的字节码增强失败，所以在bytebuddy里增强字节码的地方不要使用具体的类型，使用Object替代，然后在字节码里面转为具体的类型，运行时class的classloader时正确对应的。还有一个问题时发布系统需要支持测试环境的发布，为了快速搭建和销毁资源，我们使用docker来支持。我们的项目目前还处在试用的初期，还有很多问题需要在使用以后待改进，所以整个技术方案还有很多待完善补充的地方。