CPU使用率过高问题排查及Linux之top命令用法详解

Posted 2022-07-28 Maynor学长

文章目录

• 问题
• 解决方案
• top命令用法
• top各输出参数含义
• • • 一、top前5行统计信息
    • 二、进程信息
• Top 1的用法
• • %CPU和us%的区别

问题

公司连续2天服务器告警CPU使用率过高问题，查看日志无果，尝试使用top命令排查问题。

解决方案

在 Linux 系统下，使用 top 命令查看 CPU 使用情况。

%Cpu(s): 0.3 us, 0.1 sy, 0.0 ni, 99.6 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st

• us(user)：表示 CPU 在用户运行的时间百分比，通常用户 CPU 高表示有应用程序比较繁忙。典型的用户程序有：数据库、Web 服务器等。
• sy(sys)：表示 CPU 在内核态运行的时间百分比（不包括中断），通常内核态 CPU 越低越好，否则表示系统存在某些瓶颈。
• ni(nice)：表示用 nice 修正进程优先级的用户进程执行的 CPU 时间。nice 是一个进程优先级的修正值，如果进程通过它修改了优先级，则会单独统计 CPU 开销。
• id(idle)：表示 CPU 处于空闲态的时间占比，此时，CPU 会执行一个特定的虚拟进程，名为 System Idle Process。
• wa(iowait)：表示 CPU 在等待 I/O 操作完成所花费的时间，通常该指标越低越好，否则表示 I/O 存在瓶颈，可以用 iostat 等命令做进一步分析。
• hi(hardirq)：表示 CPU 处理硬中断所花费的时间。硬中断是由外设硬件（如键盘控制器、硬件传感器等）发出的，需要有中断控制器参与，特点是快速执行。
• si(softirq)：表示 CPU 处理软中断所花费的时间。软中断是由软件程序（如网络收发、定时调度等）发出的中断信号，特点是延迟执行。
• st(steal)：表示 CPU 被其他虚拟机占用的时间，仅出现在多虚拟机场景。如果该指标过高，可以检查下宿主机或其他虚拟机是否异常。

排查用户 CPU 使用率高

用户 CPU 使用率反映了应用程序的繁忙程度，通常与我们自己写的代码息息相关。
操作步骤：
1) 通过 top 命令找到 CPU 消耗最多的进程号；

2) 通过 top -Hp 进程号命令找到 CPU 消耗最多的线程号（列名仍然为 PID）；

3) 通过printf “%x\\n” 线程号命令输出该线程号对应的 16 进制数字；

4) PID进程在内核调用情况。

如果是Java应用可通过 jstack 进程号 | grep 16进制线程号 -A 10 命令找到 CPU 消耗最多的线程方法堆栈。
非 Java 应用可使用 perf

perf top -p 7574

如果提示perf: command not found，使用yum install perf安装。

perf利用Linux的trace特性，可以用于实时跟踪，统计event计数(perf stat)；或者使用采样(perf record)，报告(perf report|script|annotate)的使用方式进行诊断。

top命令用法

top命令经常用来监控linux的系统状况，是常用的性能分析工具，能够实时显示系统中各个进程的资源占用情况。

top的使用方式 top [-d number] | top [-bnp]

参数解释：

-d：number代表秒数，表示top命令显示的页面更新一次的间隔。默认是5秒。 -b：以批次的方式执行top。 -n：与-b配合使用，表示需要进行几次top命令的输出结果。 -p：指定特定的pid进程号进行观察。

在top命令显示的页面还可以输入以下按键执行相应的功能（注意大小写区分的）：

?：显示在top当中可以输入的命令 P：以CPU的使用资源排序显示 M：以内存的使用资源排序显示 N：以pid排序显示 T：由进程使用的时间累计排序显示 k：给某一个pid一个信号。可以用来杀死进程 r：给某个pid重新定制一个nice值（即优先级） q：退出top（用ctrl+c也可以退出top）。

top各输出参数含义

下面是使用top命令来进行性能检测的截图：

图一(ubuntu)：

图二(centos)：

一、top前5行统计信息

第1行：top - 05:43:27 up 4:52, 2 users, load average: 0.58, 0.41, 0.30
第1行是任务队列信息，其参数如下：

内容	含义
05:43:27	表示当前时间
up 4:52	系统运行时间 格式为时：分
2 users	当前登录用户数
load average: 0.58, 0.41, 0.30	系统负载，即任务队列的平均长度。 三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值。

load average: 如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了。

第2行：Tasks: 159 total, 1 running, 158 sleeping, 0 stopped, 0 zombie
第3行：%Cpu(s): 37.0 us, 3.7 sy, 0.0 ni, 59.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
第2、3行为进程和CPU的信息
当有多个CPU时，这些内容可能会超过两行，其参数如下：

内容	含义
159 total	进程总数
1 running	正在运行的进程数
158 sleeping	睡眠的进程数
0 stopped	停止的进程数
0 zombie	僵尸进程数
37.0 us	用户空间占用CPU百分比
3.7 sy	内核空间占用CPU百分比
0.0 ni	用户进程空间内改变过优先级的进程占用CPU百分比
59.3 id	空闲CPU百分比
0.0 wa	等待输入输出的CPU时间百分比
0.0 hi	硬中断（Hardware IRQ）占用CPU的百分比
0.0 si	软中断（Software Interrupts）占用CPU的百分比
0.0 st

第4行：KiB Mem: 1530752 total, 1481968 used, 48784 free, 70988 buffers
第5行：KiB Swap: 3905532 total, 267544 used, 3637988 free. 617312 cached Mem
第4、5行为内存信息
其参数如下：

内容	含义
KiB Mem: 1530752 total	物理内存总量
1481968 used	使用的物理内存总量
48784 free	空闲内存总量
70988 buffers（buff/cache）	用作内核缓存的内存量
KiB Swap: 3905532 total	交换区总量
267544 used	使用的交换区总量
3637988 free	空闲交换区总量
617312 cached Mem	缓冲的交换区总量。
3156100 avail Mem	代表可用于进程下一次分配的物理内存数量

上述最后提到的缓冲的交换区总量，这里解释一下，所谓缓冲的交换区总量，即内存中的内容被换出到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖，该数值即为这些内容已存在于内存中的交换区的大小。相应的内存再次被换出时可不必再对交换区写入。

计算可用内存数有一个近似的公式：
第四行的free + 第四行的buffers + 第五行的cached

二、进程信息

列名	含义
PID	进程id
PPID	父进程id
RUSER	Real user name
UID	进程所有者的用户id
USER	进程所有者的用户名
GROUP	进程所有者的组名
TTY	启动进程的终端名。不是从终端启动的进程则显示为 ?
PR	优先级
NI	nice值。负值表示高优先级，正值表示低优先级
P	最后使用的CPU，仅在多CPU环境下有意义
%CPU	上次更新到现在的CPU时间占用百分比
TIME	进程使用的CPU时间总计，单位秒
TIME+	进程使用的CPU时间总计，单位1/100秒
%MEM	进程使用的物理内存百分比
VIRT	进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
SWAP	进程使用的虚拟内存中，被换出的大小，单位kb
RES	进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
CODE	可执行代码占用的物理内存大小，单位kb
DATA	可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb
SHR	共享内存大小，单位kb
nFLT	页面错误次数
nDRT	最后一次写入到现在，被修改过的页面数。
S	进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程
COMMAND	命令名/命令行
WCHAN	若该进程在睡眠，则显示睡眠中的系统函数名
Flags	任务标志

Top 1的用法

默认进入top时，各进程是按照CPU的占用量来排序的。

1、在top基本视图中，按键盘数字“1”可以监控每个逻辑CPU的状况：

2、敲击键盘‘b’（打开关闭加亮效果）top视图变换如下：

PID为16283为当前top视图中唯一的运行态进程。也可以敲击键盘‘y’来打开或者关闭运行态进程的加亮效果。

3、敲击键盘‘x’（打开/关闭排序列的加亮效果），top视图变换如下：

可以看到现在是按"%CPU"进行排序的，可以按”shift+>”或者”shift+<”左右改变排序序列。

4、改变进程显示字段

在top基本视图中，敲击”f”进入另一个视图，在这里可以编辑基本视图中的显示字段：

用上下键选择选项，按下空格键可以决定是否在基本视图中显示这个选项。

top命令是一个非常强大的功能，但是它监控的最小单位是进程，如果想监控更小单位时，就需要用到ps或者netstate命令来满足我们的要求。

%CPU和us%的区别

有的同学会把%CPU和us%搞晕，也就是下图所示在top的时候查看cpu的信息

这时有的同学会问：这两个CPU到底哪个是对的。

其实都是对的，只是表达的意思不一样。

官方解释如下

Cpu(s)：34.0% us: 用户空间占用CPU百分比

%CPU：上次更新到现在的CPU时间占用百分比

读到这里我也不是十分理解他们俩的关系，我一直以为%CPU是每个进程占用的cpu百分比，按理来说所有进程的该值加在一起应该等于us.

但事实并非如此，此时我们可以在top界面按一下1

这时候我们可以清晰得看到每个cpu的运行状态。

通过上面的显示我们发现Cpu(s)表示的是 所有用户进程占用整个cpu的平均值，由于每个核心占用的百分比不同，所以按平均值来算比较有参考意义。而%CPU显示的是进程占用一个核的百分比，而不是整个cpu（12核）的百分比，有时候可能大于100，那是因为该进程启用了多线程占用了多个核心，所以有时候我们看该值得时候会超过100%，但不会超过总核数*100。

另外查看CPU信息：在命令行里输入：cat /proc/cpuinfo