阿里巴巴正式开源自研动态非侵入AOP解决方案：JVM-Sandbox

Posted 2021-04-29 InfoQ

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了阿里巴巴正式开源自研动态非侵入AOP解决方案：JVM-Sandbox相关的知识，希望对你有一定的参考价值。

程序员的 8 点技术早餐

作者｜徐冬晨

编辑｜小智

开源改变世界！

写在前面

随着软件部署规模的扩大，系统的功能的细化，系统间耦合度和链路复杂度不断加强。若要继续保持现规模系统的稳定性，需要实现并完善监控体系、故障定位分析、流量录制回放、强弱依赖检测、故障演练等支撑工具平台。出于对服务器规模和业务稳定性的考量，这些配套工具平台要具备对目标应用具有无侵入、实时生效、动态可插拔的特点。

要实现这些，多少都会触及到一块底层技术——动态字节码增强。如果每个工具都自己实现一套字节码增强逻辑，前期实现的门槛与后期维护成本高，且不同工具间相互影响造成不可预知的风险。如何屏蔽字节码增强技术的高门槛，降低研发运维成本，同时又能支持上层多个工具平台功能的快速实现和动态管理，成为阿里集团的目标。从去年开始潜心修行，创新的研发了一套实时无侵入的字节码增强框架。

于是 JVM-Sandbox 诞生了！

应用场景

JVM-Sandbox 的目标群体

Btrace 好强大，也曾技痒想做一个更便捷、更适合自己的问题定位工具，既可支持线上链路监控排查，也可支持单机版问题定位。
有时候突然一个问题反馈上来，需要入参才能完成定位，但恰恰没有任何日志，甚至出现在别人的代码里，好想开发一个工具可以根据需要动态添加日志，最好还能按照业务 ID 进行过滤。
系统间的异常模拟可以使用的工具很多，可是系统内的异常模拟怎么办，加开关或是用 AOP 在开发系统中实现，好想开发一个更优雅的异常模拟工具，既能模拟系统间的异常，又能模拟系统内的异常。
好想获取行调用链路数据，可以用它识别场景、覆盖率统计等等，覆盖率统计工具不能原生支持，统计链路数据不准确。想自己开发一个工具获取行链路数据。
我想开发录制回放、故障模拟、动态日志、行链路获取等等工具，就算我开发完成了，这些工具底层实现原理相同，同时使用，要怎么消除这些工具之间的影响，怎么保证这些工具动态加载，怎么保证动态加载 / 卸载之后不会影响其他工具，怎么保证在工具有问题的时候，快速消除影响，代码还原。

如果你有以上诉求，那么你就是 JVM-Sandbox 的潜在客户。JVM-Sandbox 提供动态增强类你所指定的类，获取你想要的参数和行信息；提供动态可插拔容器，管理基于 JVM-Sandbox 的模块。

JVM-Sandbox 能做什么？

在 JVM-Sandbox（以下简称沙箱）的世界观中，任何一个 Java 方法的调用都可以分解为BEFORE、RETURN和THROWS三个环节，由此在三个环节上引申出对应环节的事件探测和流程控制机制。不仅如此还有LINE事件，可以完成代码行的记录。

// BEFORE-EVENT
try {

   /*
    * do something...
    */
    //LINE-EVENT
    a();
    // RETURN-EVENT
    return;

} catch (Throwable cause) {
    // THROWS-EVENT
}

基于BEFORE、RETURN和THROWS三个环节事件以及LINE事件，可以完成很多类 AOP 的操作。

可以感知和改变方法调用的入参
可以感知和改变方法调用返回值和抛出的异常
可以感知一个请求按顺序执行了哪些行
可以改变方法执行的流程

在方法体执行之前直接返回自定义结果对象，原有方法代码将不会被执行
在方法体返回之前重新构造新的结果对象，甚至可以改变为抛出异常
在方法体抛出异常之后重新抛出新的异常，甚至可以改变为正常返回

JVM-Sandbox 都有哪些可能的应用场景

线上故障定位
线上系统流控
线上故障模拟
方法请求录制和结果回放
动态日志打印
安全信息监测和脱敏
行链路计算和覆盖率统计

JVM 沙箱还能帮助你做很多很多，取决于你的脑洞有多大了。

JVM-Sandbox 在阿里集团的应用

线上故障演练

17 年故障演练平台在 JVM-Sandbox 基础上仅耗时 1 周即完成故障注入部分的系统重构。重构后的系统在挂载效率和挂载成功率方面有了明显的提升，极大的缩短的故障演练的时间，演练效率提升了数十倍。基于 JVM-Sandbox 改造后的故障演练平台，通用性强，所有基于 JVM 启动的系统均支持，极大的拓展了故障演练的范围，故障演练已达到集团级部署。

与 16 年故障演练数据对比，17 年的故障演练平台，覆盖 BU 提升了 1.6 倍，覆盖应用提升了 5 倍，覆盖场景提升了 37 倍。

依赖检测

17 年强弱依赖自动化检测平台诞生。它提供了依赖检测、强弱分析、依赖扫描、故障注入等多种能力，底层能力基于 JVM-Sandbox 在 1 周内完成功能开发。利用其模块容器的特性，将前人开发的模块与新增模块一起挂载共同工作，完成平台功能。

强弱依赖梳理方面，承载了淘宝的系统强弱依赖梳理工作，260+ 个应用一键接入系统，并实现了 0 人工成本的自动化、智能化梳理。

服务端录制隔离回放机制

在 JVM-Sandbox 基础上开发了一个 SS 模块，相当于一个录音机 + 回放机，在调用中间件的时候，顺序录制下了我们的中间件请求，并且存储这份‘磁带’到服务器上。当我们需要隔离回放的时候，将这份‘磁带’找到，并且在需要的时候直接从‘磁带’读取，并不需要真实地请求我们的中间件，这样就保证了我们的读、写接口也能做到可重复使用，从而实现服务端的隔离回放。

线上录制隔离回放不仅极大的缩短的业务回归的耗时，把业务测试同学从繁琐的数据准备和接口自动化脚本的编写过程中解放出来，而且极大的拓展了覆盖范围，使回归的范围更贴近用户，且场景更丰富。

精准回归

服务端录制隔离回放机制诞生之后，虽然有效的提升了覆盖范围，降低了自动化脚本的人工投入，但是也带来了新的问题。线上录制的场景是海量的，单个系统都可以达到万级、十万级甚至百万级别的录制，这些录制的场景中，存在大量的重复场景，如何识别重复场景，实现有效、精准的回放，成为新的待解决问题。

17 年在 JVM-Sandbox 的基础上，利用 LineEvnet 实现了行链路识别和标记，有效的提升了回放的精准度和效率。

JVM-Sandbox 在阿里集团已经实现全网部署，在其上加载不同的模块实现了不同的功能，每个功能根据 BU 和应用的需要进行加载：

强弱依赖检测功能：覆盖淘宝、天猫、业务平台、菜鸟、飞猪、ICBU、CBU 等 7 个 BU，240+ 个应用；
线上故障演练功能：覆盖集团客户体验事业群、淘宝网、云零售事业部、天猫、业务平台、飞猪、菜鸟、钉钉、阿里健康、CBU、集团安全、支付宝等 16 个 BU，391 个应用；
服务端录制回放：覆盖淘宝网、钉钉 2 个 BU；
精准回归：覆盖淘宝网、业务平台、钉钉 3 个 BU。

通过上边的事例，想必大家对 JVM-Sandbox 是什么，核心功能是什么，还能做哪些事情，以及是否可以为阿里以外的同学提供服务等问题更感兴趣了，下面我们着重介绍这部分内容。

JVM-Sandbox

技术背景

故障演练、强弱依赖检测、录制回放、精准回归，要解决这些问题本质就是如何完成 java 方法的环绕管控和运行时行链路的获取，即 AOP 框架的解决方案。目前常用 AOP 框架的解决方案有两种：proxy 和埋点。proxy 的优点在于已实现了统一的 API，减少了重复投入，但是不能实时生效，需要系统编译重启。埋点的优点在于动态生效灵活度高，但是没有统一 API。

要快速解决上边的四个问题，我们需要的 AOP 解决方案必须具备两个特性：