谈谈线上CPU100%排查套路
Posted shanheyongmu
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了谈谈线上CPU100%排查套路相关的知识,希望对你有一定的参考价值。
生产服务器上部署了几个java程序,突然出现了CPU100%的异常告警,你如何定位出问题呢?
下面给出两种系统环节下的排查步骤,都是一模一样的,只是命令稍有区别!
- 查消耗cpu最高的进程Pid
- 根据Pid查出消耗cpu最高的线程号
- 根据线程号查出对应的java线程,进行处理。
准备一行死循环代码
public class TestFor { public static void main(String[] args) { int random = 0; while (random < 100) { random = random * 10; } } }
怎么跑,应该不用我说了,直接教大家怎么查!
Windows版
可能有人有疑问,我为什么要说Windows
版的!因为,我曾经给很多政府部门做过系统。我发现他们用的是Windows Server
,不是Linux
系统。所有必要说一下!
查消耗Cpu最高的进程PID
手边没有Windows Server
机器,我以Win 10
为例,截图给大家看一下,先调出PID
显示项!
然后发现进程PID
如下图所示,为10856
接下来呢
根据PID查出消耗Cpu最高的线程号
这里用到微软的工具Process Explorer v16.22,地址如下
https://docs.microsoft.com/zh-cn/sysinternals/downloads/process-explorer
如图所示
发现最耗Cpu
的线程的TID
为6616
这是十进制的数据,转成十六进制为0x19d8
根据线程号查出对应的java线程,进行处理
执行命令
jstack -l 10856 > c:/10856.stack
打开文件c:/10856.stack
,搜索19d8
,如下图所示
根据文件就可以看出,我们的TestFor.java
文件第七行一直在跑,至此定位到问题
Linux版
Linux版本,步骤是一模一样的,就是命令换了一下
查消耗Cpu最高的进程PID
执行命令
- 执行
top -c
,显示进程运行信息列表。按下P,进程按照Cpu使用率排序
如下图所示,PID
为3033
的进程耗费Cpu
最高
根据Pid查出消耗Cpu最高的线程号
执行命令
top -Hp 3033
,显示一个进程的线程运行信息列表。按下P,进程按照Cpu使用率排序
如下图所示,PID
为3034
的线程耗费Cpu最高
这是十进制的数据,转成十六进制为0Xbda
根据线程号查出对应的java线程,进行处理
jstack -l 3033 > ./3033.stack
然后执行,grep命令,看线程0xbda
做了什么
cat 3033.stack |grep ‘bda‘ -C 8
输出如下
至此定位到问题
以上是关于谈谈线上CPU100%排查套路的主要内容,如果未能解决你的问题,请参考以下文章
Linux---记录一次线上服务 CPU 100%的排查过程