理解负载均衡

Posted 2021-05-15 longshengguoji

什么是平均负载？

单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系。
所谓可运行状态的进程，是指正在使用CPU或者等待CPU的进程，也就是我们常用ps命令看到的，处于R状态（Running或者Runnable）的进程。不可中断状态的进程是正处于内核态关键流程中的进程，并且这些流程是不可打断的。
比如当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。可以认为不可中断状态是系统对进程和硬件设备的一种保护机制。

平均负载为多少合适？

平均负载可以简单的理解为是平均活跃进程数，也可以理解为单位时间内的活跃进程数。因此理想情况是每个CPU上面都运行一个进程。
通过命令查询系统有多少CPU

$ grep ‘model name’ /proc/cpuinfo | wc -l

通过uptime命令查询系统负载

$ uptime

16:42:54 up 187 days, 21:49,  1 user,  load average: 0.00, 0.14, 1.08
16:42:54 :当前时间
up 187 days, 21:49 :系统运行时间
1 user ：正在登陆用户数
load average: 0.00, 0.14, 1.08 : 过去1分钟、5分钟和15分钟的平均负载

当平均负载高于CPU个数的时候，系统就出现过载。从1分钟、5分钟和15分钟的负载值可以看出负载变化趋势：

• 1分钟、5分钟、15分钟三个值基本相同或者相差不大，说明系统负载平稳
• 1分钟的值远小于15分钟的值，说明负载在下降
• 1分钟的值远大于15分钟的值，说明负载在上升

实际生产中一般认为平均负载高于CPU数量70%的时候就处于负载过高，需要分析排查，以免影响服务响应。

平均负载与CPU使用率

平均负载指单位时间内处于可运行状态和不可中断状态的进程数。所以它不仅包括了正在使用CPU的进程，还包括等待CPU和等待I/O的进程。
CPU使用率指单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应。

• CPU密集型进程，使用大量CPU会导致平均负载升高，此时两者一致。
• I/O密集型进程，等待I/O也会导致平均负载升高，但CPU使用率不一定很高
• 大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会很高。

如何分析？

先通过uptime命令查看平均负载情况

$ uptime
16:59:50 up 1210 days,  6:27,  7 users,  load average: 0.02, 0.48, 0.68

通过mpstat 查看CPU使用率变化情况

-P ALL 表示监控所有 CPU，数字 5 表示间隔 5 秒后输出一组数据
$ mpstat -P ALL 5

05:02:53 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
05:02:58 PM  all    3.28    0.00    0.49    0.01    0.00    0.00    0.00    0.00    0.00   96.22
05:02:58 PM    0    1.60    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   98.20
05:02:58 PM    1    5.20    0.00    0.20    0.20    0.00    0.00    0.00    0.00    0.00   94.40
05:02:58 PM    2    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.80
05:02:58 PM    3    5.21    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   94.59

05:02:58 PM    4    0.20    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   99.60

05:02:58 PM    5    5.20    0.00    0.60    0.20    0.00    0.00    0.00    0.00    0.00   94.00

05:02:58 PM    6    4.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   95.00

05:02:58 PM    7    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

05:02:58 PM    8    0.20    0.00    0.40    0.00    0.00    0.00    0.00    0.00    0.00   99.40

05:02:58 PM    9    1.60    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   98.20

05:02:58 PM   10   88.00    0.00   12.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

05:02:58 PM   11    0.00    0.00    0.80    0.20    0.00    0.00    0.00    0.00    0.00   99.00

通过pidstat查看哪个进程导致CPU使用率高

间隔 5 秒后输出一组数据

$ pidstat -u 5 1

Average:      UID       PID    %usr %system  %guest    %CPU   CPU  Command

Average:        0        10    0.00    0.20    0.00    0.20     -  rcu_sched

Average:        0       998    0.00    0.20    0.00    0.20     -  xfsaild/sda5

Average:        0      1111    0.00    0.40    0.00    0.40     -  irqbalance
Average:       26    175314   88.47   11.53    0.00  100.00     -  postgres

Average:       26    176282   83.50   16.50    0.00  100.00     -  postgres

总结

平均负载提供了一个快速查看系统整体性能的手段，反应了整体的负载情况。但只看平均负载本身，并不能直接发现到底哪里出现了瓶颈。在理解平均负载时，需要注意：

• 平均负载高有可能是CPU密集型进程导致
• 平均负载高并不一定代表CPU使用率高，还有可能是I/O更繁忙了
• 当发现负载高的时候，可以使用mpstat、pidstat等工具，辅助分析负载的来源

性能分析的时候，还可以使用htop、atop等工具进行监控。后面单独介绍这两个工具的用法。