JVM调优 快速定位服务CPU过高（理论+实战）

Posted 2021-08-31 敲代码的程序狗

在生产环境中，有时会遇到一些CPU占用过高，一直下不去的场景。出现这种情况，可能会导致服务对外中断，服务器超负荷运行影响硬件寿命。这篇文章从实践出发，一步一步地分析如何使用top和jstack命令快速定位问题代码位置。

一、top命令

top (table of processes) is a task manager program, found in many Unix-like operating systems, that displays information about CPU and memory utilization.

维基百科解释到，top (进程表)是一个任务管理器程序，可以在许多类 unix操作系统中找到，它显示有关 CPU 和内存使用情况的信息。

同时，top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用、内存使用和执行时间对任务进行排序。

上图是一个Centos 7 系统，执行top命令后瞬时的展示信息。

• 第一行描述系统的信息，包括开机时间、用户登录、CPU整体负载
• 第二行描述任务总体执行情况，即各类进程占比情况
• 第三行描述CPU总体信息，比如空闲占比等
• 第四行描述物理内存占比情况
• 第五行描述交换区占比情况
• 动态的列表描述的详细进程各项信息，比如PID 进程ID， %CPU 进程占用CPU的使用率，TIME+ 该进程启动后占用的总的CPU时间，即占用CPU使用时间的累加值。

一般linux系统会自带top命令，还有另外一个命令行工具 htop，有时需要自行安装，它与传统的 top 命令功能一样，但它有更加强大的功能及能显示更多的信息。

二、 jstack命令

jstack prints Java stack traces of Java threads for a given Java process or core file or a remote debug server。

oracle官网解释到，Jstack 打印给定 Java 进程或核心文件或远程调试服务器的 Java 线程的 Java 堆栈跟踪。

对于每个 Java 框架，使用jstack指令将打印完整的类名、方法名、“ bci”(字节码索引)和行号(如果可用)。使用-m 选项，jstack 将打印所有线程的 Java 和本机帧以及“ pc”(程序计数器)。

用法很简单,如下图。

一般说，我们会先使用jps命令显示当前所有java进程pid的命令。

$jps
复制代码

然后再执行对执行进程ID 执行 jstack。

$ jstack 15673
复制代码

如果明确自己的Java进程ID，当然直接使用 jstack指令即可。

三、实战

3.1 实战之前准备

先写一个简单的榨干CPU的例子CpuDryOutExample.java，内容相当的easy，就是在无中断条件的循环语句中，不断地执行打印内容操作。

写个例子

public class CpuDryOutExample {
​
    public static void dryOut() {
        while (true) {
            System.out.println("dry out utilization rate of cpu");
            //do something
        }
    }
​
    public static void main(String[] args) {
        CpuDryOutExample.dryOut();
    }
}
复制代码

编译

$javac CpuDryOutExample.java
复制代码

输出CpuDryOutExample.class，注意最好去掉java文件里面的package，否则编译过程中很有可能会报找不到main方法，当然你编译时特殊处理也行。

运行

将CpuDryOutExample.class上传到Centos 7 服务器上，该服务器已经预先配置好了Java运行环境（JRE），然后执行下面命令运行程序。

$java CpuDryOutExample
复制代码

此时屏幕疯狂输入dry out utilization rate

3.2 定位问题

定位的核心是三个步骤

• 找到CPU占用率比较高的进程ID
• 在指定进程ID的进程中寻找进程CPU占用率比较高的线程ID
• 通过线程ID去搜索打印出的进程堆栈日志，定位到具体的问题

找到CPU占用率比较高的进程ID

在终端上输入top命令

$top
复制代码

可以明显的看出PID为9573的进程CPU占用率最高，我们使用htop命令会更加直观一点。

查看进程里面线程运行的信息

我们都知道线程是处理器任务调度和执行的基本单位，一个进程下是是包含多个线程。进程粒度还是过大，不便于我们定位到具体的代码位置，我们需要找到具体是哪个线程过度使用CPU。

我们还是使用top命令。

//-H 显示线程信息,-p指定pid jstack 线程ID 
#$top -Hp 9573
复制代码

图上可以真正的看出，使CPU使用率暴涨的罪魁祸首是线程 9574。当然使用htop我们也能很快的定位到具体线程。

分析过滤定位问题

因为线程ID在堆栈日志中是以16进制呈现，我们先进行进制转换。

$printf %s 9574
复制代码

然后打印堆栈日志到临时文件1.txt

# 注意是进程ID
$jstack 9573 > 1.txt
复制代码

然后在文件中搜索线程所在位置

//在文件中搜索过滤并打印30条数据
$cat 1.txt | grep -A 30 2566
复制代码

可以清楚的看到，红框位置就是具体问题代码。

四、总结

除了使用top/htop + jstack 命令的方式，我们也可以使用JMC快速定位CPU占用率过高的问题，虽然JMC确实比前者更加简单高效，但是只能使用JMX实现远程连接，如果部署的服务没有启用JMX是用不上这个工具。

那么回到问题的根源，什么场景会导致CPU占用率过高呢？

• 序列化和反序列（使用合理的类库）
• 正则表达式（回溯导致，避免回溯）
• 频繁GC，GC线程频发执行垃圾回收算法（降低GC频率）
• 频繁 的线程上下文切换（降低切换的频率，根据业务合理建立线程池）

• 无限while循环（尽量有限循环，即设置中断条件，让循环执行的慢一点,即Thead.yield）
• 频繁创建新对象（合理使用单例）