系统CPU负载过高CPU使用率不高的问题

Posted 2020-10-21

（1）、问题

        线上Tomcat服务器CPU的负载非常高，但是CPU使用率正常，如图：

        

（2）、问题排查

        1、首先查看是哪些进程的CPU占用率最高（如下可以看到详细的路径）

            ps -aux --sort -pcpu | more

            # 定位有问题的线程可以用如下命令

            ps -mp pid -o THREAD,tid,time | more

        2、查看JAVA进程的每个线程的CPU占用率

            ps -Lp 5798 cu | more        # 5798是查出来进程PID

        3、追踪线程，查看负载过高的原因，使用JDK下的一个工具

            jstack 5798                        # 5798是PID

            jstack -J-d64 -m 5798       # -j-d64指定64为系统

            jstack 查出来的线程ID是16进制，可以把输出追加到文件，导出用记事本打开，

            再根据系统中的线程ID去搜索查看该ID的线程运行内容，可以和开发一起排查。

（3）、常见的处理办法

        网站相关进程导致负载高处理办法：
            1、直接把网站php或http或tomcat等网站服务重启，很多时候负载就降下来了
            2、也可能是网站代码漏洞导致的，需要反馈开发一起查找原因和处理
            3、把重复的tomcat kill全部掉重新启动
        mysql进程导致的负载高处理办法：
            1、常见的就是mysql慢查询导致，可以在mysql慢查询日志找到相关sql语句，这需要对sql进行优化
            2、还可以进入mysql，用show full processlist\G;查看那个mysql进程执行时间比较久的慢查询。如果是内部后台使用的语句，可以先kill掉，优化后再执行。
            3、mysql读写太频繁，如果是读写频繁可以在%wa等待输入输出看的出来占用cpu百分比很大。也可以通过命令iostat查看系统读写情况。

        还有可能是网络原因，系统硬件原因等