相同版本 JVM 和 Java 应用，在 x86 和AArch64 平台性能相差30%，何故？

Posted 2021-09-24 宋宝华

编者按：目前许多公司同时使用 x86 和 AArch64 2 种主流的服务器。这两种环境的算力相当，内存相同的情况下：相同版本的 JVM 和 Java 应用，相同的 JVM 参数，应用性能在不同的平台中表现相差 30%，x86 远好于 AArch64 平台。本文分析了一个应用在 AArch64 平台上性能下降的例子，发现 JVM 的 CodeCache 大小是引起这个性能问题的根源，进而研究什么导致了不同平台上 CodeCache 大小的不同。最后笔者给出了不同平台中该如何设置参数规避该问题。希望本文能给读者一些启示：当使用不同的硬件平台时需要关注底层硬件对于上层应用的影响。

业务在 x86 和 AArch64 上同时部署时（相同的 JDK 和 Java 应用版本），发现 AArch64 平台性能下降严重问题。进一步查看日志，发现在 AArch64 平台中偶有如下情况：

这代表 JVM 中的 CodeCache 满了，导致编译停止，未编译的方法只能解释执行，进而严重影响应用性能。那什么是 CodeCache？

CodeCache 是什么

简单来说，CodeCache 用于存放编译后的方法，主要分为三部分：

1. Non-nmethods：包括运行时 Stub，Adapter 等；

2. Profiled nmethod：包括会采集信息的方法，即分层编译中第 2、3 层的方法；

3. Non-Profiled nmethods：包括不采集信息的方法，即分层编译中第 1、4 层的方法，也包括 JNI 的方法。

注：分层编译指的是 JVM 同时存在 C1 和 C2 两种编译器，C1 做一些简单的编译优化，耗时较短，C2 做更多复杂的编译优化，性能较好，编译耗时较多。分层编译的触发在 JVM 内会根据相应的条件进行触发，关于更多分层编译相关知识可以参考相关资料 [1]。

在 JDK 9 之后 [2]，这些会分配到不同的区域（使用不同区域的优点：查找、回收等），JDK 8 中会分配到同一块区域。

JVM 平时会清理一些不可达的方法，例如由于退优化等产生的死方法，另外 UseCodeCacheFlushing 选项（默认开启），还会清理较老以及执行较少的方法。一旦 CodeCache 满了之后，会停止编译，直到 CodeCache 有空间，若关闭了 UseCodeCacheFlushing 选项，则会直接永久停止编译。

不同的 JVM 版本以及不同的参数，默认的 CodeCache 大小不同。JDK 11 中默认参数下 CodeCache 大小为 240M，若想获取（确认）默认情况下的 CodeCache 大小，建议使用 - XX:+PrintFlagsFinal 选项获取 ReservedCodeCache 的大小。

CodeCache 大小主要通过以下选项调节：

Option	Description
InitialCodeCacheSize	初始的 CodeCache 大小（单位字节）
ReservedCodeCacheSize	预留的 CodeCache 大小，即最大CodeCache 大小（单位字节）
CodeCacheExpansionSize	CodeCache 每次扩展大小（单位字节）

使用–XX:+PrintCodeCache 选项可以打印应用使用的 CodeCache 情况，如下：

其中 max_used 表示应用中使用到的 CodeCache 大小，据此可以设置合适的 ReservedCodeCacheSize 值。

AArch64 vs x86_64

我们都知道 AArch64 和 x86 分别为 RISC 和 CISC 架构，因此代码密度方面存在一定差异，在这篇文章 [3] 中比较了不同指令集下手写汇编的大小，可以看到 AArch64 的代码密度是 RISC 架构中较优的，但相比 x86_64 仍稍差些（其中 RISC 最差，m68k 最好）。

另外笔者选用业界通用的 java 测试套 dacapo[4] 比较 AArch64 和 x86_64 下 CodeCache 占用的大小。

可以看到，在 AArch64 架构下，CodeCache 均比 x86_64 要大，但根据不同场景，大小差距不同，在 5%-20% 之间。因此在我们发现相同应用在 x86 和 AArch64 上时，CodeCache 大小需要进行相应的调节。

除此之外，还需要注意 InlineSmallCode 选项，JVM 只会 inline 代码体积比该值小的方法。JVM 通过 inline 可以触发更多的优化，因此 inline 对于性能提升也很重要。在 JDK 11 中，InlineSmallCode 在 x86 下的默认值为 2000 字节，在 AArch64 下的默认值为 2500 字节。而 JDK 8 中，InlineSmallCode 在 x86 和 AArch64 下默认值均为 2000 字节。因此建议迁移时也相应修改 InlineSmallCode 的值。业务通过对 CodeCache 相关参数的调整，达到助力 JIT 的最佳编译效果。

后记

如果遇到相关技术问题（包括不限于毕昇 JDK），可以进入毕昇 JDK 社区查找相关资源（点击原文进入官网），包括二进制下载、代码仓库、使用教学、安装、学习资料等。毕昇 JDK 社区每双周周二举行技术例会，同时有一个技术交流群讨论 GCC、LLVM、JDK 和 V8 等相关编译技术，感兴趣的同学可以添加如下微信小助手，回复 Compiler 入群。

参考

[1]http://cr.openjdk.java.net/~thartmann/talks/2017-hotspot_under_the_hood.pdf

[2]https://bugs.openjdk.java.net/browse/jdk-8015774

[3]http://web.eece.maine.edu/~vweaver/papers/iccd09/ll_document.pdf

[4]http://dacapobench.org/