初识性能测试：性能测试基本概念

Posted 2020-11-26 kevin6317

一、性能测试学习路线

loadrunner入门→jmeter→java基础→beanshell→架构知识→linux分析调优→各种中间件等定位调优。并发工具，jmeter是主流。

二、性能测试主要类型

性能测试主要包括：压力测试/强度测试、负载测试、并发测试、容量测试

1、压力测试/强度测试（Stress testing）：在一定的软件、硬件及网络环境下，通过模拟大量的虚拟用户向服务器产生负载，使服务器的资源处于极限状态下长时间连续运行，以测试服务器在高负载情况下是否能够稳定工作。尤其关注大业务量情况下长时间运行系统性能的变化（例如是否反应变慢、是否会内存泄漏导致系统逐渐崩溃、是否能恢复）；压力测试是测试系统的限制和故障恢复能力，它包括5种情况：
a.稳定性压力测试：在选定的压力值下，长时间持续运行。通过这类压力测试，可以考察各项性能指标是否在指定范围内，有无内存泄漏、有无功能性故障等；

b.破坏性压力测试(Spike testing）：在稳定性压力测试中可能会出现一些问题，如系统性能明显降低，但很难暴露出其真实的原因。短时间的极端负载测试，通过破坏性不断加压的手段，往往能快速造成系统的崩溃或让问题明显的暴露出来。

c.Spike testing：短时间的极端负载测试 

d.Extreme testing：在过量用户下的负载测试 

e.Hammer testing：连续执行所有能做的操作 

2、负载测试（Load testing）：在一定的软件、硬件及网络环境下，通过运行一种或多种业务在不同虚拟用户数量情况下，测试服务器的性能指标是否在用户的要求范围内，用于确定系统所能承载的最大用户数、以及不同用户数下的系统响应时间及服务器的资源利用率。负载测试的目标是测试在一定负载情况下系统性能（不关注稳定性，也就是说不关注长时间运行，只是得到不同负载下相关性能指标即可）。实际中我们常从比较小的负载开始，逐渐增加模拟用户的数量（增加负载）， 观察不同负载下应用程序响应时间、所耗资源，直到超时或关键资源耗尽，这就是所说的负载测试，它是测试系统的不同负载情况下的性能指标。

3、并发测试（Concurrency testing）：主要指当测试多用户并发访问同一个应用、模块、数据时是否产生隐藏的并发问题，如内存泄漏、线程锁、资源争用问题，几乎所有的性能测试都会涉及并发测试。

4、容量测试(Volume testing)：容量测试的目的是通过测试预先分析出反映软件系统应用特征的某项指标的极限值（如最大并发用户数、数据库记录数等），系统在其极限状态下没有出现任何软件故障或还能保持主要功能正常运行。容量测试还将确定测试对象在给定时间内能够持续处理的最大负载或工作量。容量还可以看作系统性能指标中一个特定环境下的一个特定性能指标，即设定的界限或极限值。

对于性能测试，我们必须要清晰地理解这些概念。执行性能测试，性能瓶颈分析路径：服务器硬件瓶颈-->网络瓶颈(对局域网，可以不考虑)-->服务器操作系统瓶颈(参数配置)-->中间件瓶颈(参数配置，数据库，web服务器等)-->应用瓶颈(SQL语句、数据库设计、业务逻辑、算法等)

三、性能测试主要指标

性能测试是通过测试工具模拟多种正常、峰值及异常负载条件来对系统的各项性能指标进行测试。

目的：验证软件系统是否能够达到用户提出的性能指标，发现系统中存在的性能瓶颈并加以优化。

性能指标分为两个方面：

系统指标（与用户场景和需求相关指标）

资源指标（与硬件资源消耗相关指标）

系统指标说明

1.响应时间、平均响应时间

对一个请求做出响应所需要的时间

响应时间=网络响应时间+应用程序响应时间=（N1+N2+N3+N4）+(A1+A2+A3)

 

平均响应时间：所有请求花费的平均时间

例如：如果有100个请求，其中 98 个耗时为 1ms，其他两个为 100ms

平均响应时间： (98 * 1 + 2 * 100) / 100.0 = 2.98ms，但是，2.98ms并不能反映服务器的整体效率，因为98个请求耗时才1ms，引申出百分位数

百分位数：以响应时间为例，指的是 99% 的请求响应时间，都处在这个值以下，更能体现整体效率。

2.并发用户数

并发主要是针对服务器而言，在同一时刻与服务器进行交互（指向服务器发出请求）的在线用户数。

在线用户：指某段时间内，用户访问系统的用户数，如多个用户在浏览网页，但没有对同时对服务器进行数据请求，需要与并发用户数区分开。

并发用户数C，计算公式C=nL/T

n：每天访问系统的用户数

L：在线用户从登陆到退出的时间

T：用户每天使用系统大概多长时间

峰值C1,即最大并发数，计算公式C1=C+³√C

注：理解最佳并发用户数和最大并发用户数

看了《LoadRunner没有告诉你的》之理发店模式，对最佳并发用户数和最大的并发用户数的理解小小整理了一下。

所谓的理发店模式，简单地阐述一下，一个理发店有3个理发师，当同时来理发店的客户有3个的时候，那么理发师的资源能够有效地利用，这时3个用户数即为最佳的并发用户数；当理发店来了9个客户的时候，3个客户理发，而6个用户在等待，3个客户的等待时间为1个小时，另外的3个客户的等待时间为2小时，客户的最大忍受时间为3小时包括理发的1个小时，所以6个客户的等待时间都在客户的可以承受范围内，故9个客户是该理发店的最大并发用户数。具体的随着并发用户数的增加，响应时间，吞吐量，资源利用情况如下图所示：

Light Load（较轻压力）-->最佳用户数（资源利用最高）-->Heavy Load（较重压力）-->系统可以持续工作，但用户等待时间较长，满意度会下降-->最大并发用户数-->Buckle Zone-->（用户无法忍受而放弃请求）

最佳并发用户数：当系统的负载等于最佳并发用户数时，系统的整体效率最高，没有资源被浪费，用户也不需要等待
最大并发用户数：系统的负载一直持续，有些用户在处理而有的用户在自己最大的等待时间内等待的时候

我们需要保证的是：

（1）最佳并发用户数需大于系统的平均负载

（2）系统的最大并发用户数要大于系统需要承受的峰值负载

怎么理解这两句话呢？

（1）系统的平均负载：在特定的时间内，系统正在处理的用户数和等待处理的用户数的总和

如果系统的平均负载大于最佳并发用户数，则用户的满意度会下降，所以我们需要保证系统的平均负载小于或者等于最佳并发用户数

（2）峰值：指的是系统的最大能承受的用户数的极值

只有最大并发用户数的大于系统所能承受的峰值负载，才不会造成等待空间资源的浪费，导致系统的效率低下

3.吞吐量、吞吐率

衡量网络性能的重要指标

吞吐量：网络传输的数据量（处理客户的请求数）

吞吐率：单位时间（可以是秒/分/时/天）内网络成功传输的数据量，如请求数/秒、页面数/秒

4.事务，TPS（Transaction Per Second）每秒事务数

事务：可以看作是一个动作或是一系列动作的集合，例如登录，从登录开始到登录结束为一个事务。

TPS：衡量系统处理事务或交易的能力，即服务器对客户请求的能力，每秒处理的事务数，一般在LoadRunner上使用，设置事务，然后统计单位时间内系统可以成功完成多少个定义的事务。

5.QPS（Queries Per Second）每秒查询率，是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器（比如是读写分离的架构，就是读的服务器）在规定时间内所处理流量多少的衡量标准。注意：TPS和QPS的区别。

6.点击量、点击率（Hits Per Second）

点击数：指Web Server收到的HTTP请求数。

点击率：单位时间每秒用户向Web Server提交的HTTP请求数。

区分鼠标点击数：如请求一个网页，网页含有3张图片，向Web Server请求的点击数：1+3=4，而鼠标的一次点击就可以访问网页，点击数只有1次

 

资源指标说明

1.硬件性能指标：CPU，内存Memory，磁盘I/O（Disk I/O），网络I/O（Network I/O）

CPU：主要解释计算机指令以及处理计算机软件中的数据

Linux系统中top命令查看CPU的使用率

CPU的利用率（<=75%）有：user（用户使用）,sys（系统调用<=30%）,wait（等待<=5%），idle（空闲）

当user消耗高时，通过top命令查看哪个用户进程占用cpu的使用

user消耗过高的原因可能有:

（1）代码问题。如代码中耗时循环中不加sleep，即例如while的死循环中，没有加sleep时间，导致没有空余的时间将cpu的控制权给其他的进程，一直陷入该死循环中，cpu得不到休息，所以usr的消耗过高，则cpu的消耗高

（2）gc频繁。gc则为垃圾回收，由于垃圾回收也是需要大量的计算，也消耗cpu，所以当gc频繁时也导致usr用户空间的消耗也过高，cpu消耗过高

当sys消耗高时，通过top命令查看系统调用资源的情况

sys消耗过高的原因可能有：
（1）上下文切换频繁。上下文切换发生的情况有：中断处理，多任务处理，用户状态改变。

中断处理，当cpu停止处理当前的进程转而处理中断请求的进程时发生上下文切换。多任务处理则为有多个进程请求cpu的处理，进程的数量多于cpu的核数，则分配进程时间片，根据时间片处理进程，意味着会强制停止一个进程而去处理另一个进程，形成频繁的上下文切换。用户状态改变则为user状态与sys状态的改变。

wait较高时，即等待的进程占比高：

可以考虑是否磁盘读写，磁盘瓶颈问题， 等待的进程较多时，cpu无论如何切换都是切换到等待的进程，导致cpu一直在频繁切换等待的线程而利用率较低

内存：与cpu沟通的桥梁，计算机中所有程序的运行都在内存中进行，内存分为物理内存、页面交换（Paging），SWAP内存（虚拟内存）

页面交换：当物理内存即实际的内存满了的时候，将物理内存中不常用的进程调出存储到虚拟内存中，以缓解物理内存空间的压力，所以当物理内存与虚拟内存的数据交换频繁的时候，这时候就要关注下内存的性能情况。

SWAP内存：为进程分配虚拟的内存空间，即调用硬盘的空间作为内存使用。

内存的性能分析是又可用内存与页面交换来分析的，可用内存使用占70%-80%为上限，当超出这个数值，内存性能情况就比较危险，而且即使可用内存使用不超过80%的数值时，页面交换比较频繁时，也是要关注下内存情况。

一般物理内存即使是满内存也不能代表内存出现问题，主要是看虚拟内存swap，虚拟内存应该<=70%，大于则可以考虑是否内存问题或者内存泄漏

磁盘吞吐量，指单位时间内通过磁盘的数据量。主要关注磁盘的繁忙率，如果高于70%，则磁盘瓶颈

网络吞吐量，指单位时间内通过网络的数据量，当吞吐量大于网路设备或链路最大传输能力，即带宽时，则应该考虑升级网络设备或者增加带宽，Linux命令netstate

网络IO也有可能出现终止连接失败。例如当服务端出现大量的TIME_WAIT，见以下TCP终止连接的第4个步骤，在主动发起关闭连接方接收到结束符FIN时状态变为TIME_WAIT,这时在服务端发现大量的TIME_WAIT,意味着关闭连接是由服务端发起的。

问：什么情况是由服务端发起关闭连接？答：在用户端的应用程序忘记关闭连接

另外如果在服务端发现大量状态CLOSE_WAIT,则说明第二次关闭回不去，也就是TCP关闭连接的第三个步骤没有执行，停留在CLOSE_WAIT的状态，浏览器如果这时发起请求则会返回超时连接，因为服务端这边一直无法进行第二次关闭，将结束符返回去给用户端。
注：科普TCP建立连接的三次握手，终止连接的四次握手

参考：https://blog.csdn.net/WluoW/article/details/90743735；https://blog.csdn.net/guyuealian/article/details/52535294；https://www.cnblogs.com/huhuuu/p/3572485.html

2.中间件：常用的中间件例如web服务器Tomcat,Weblogic web服务器，JVM（java虚拟机），ThreadPool线程池，JDBC数据驱动

注：http服务器和web服务器与应用服务器的差别是一个存储静态网页的服务器，一个是存储css，js等动态加载网页的服务器，而tomcat则属于应用服务器

注：对中间件例如对服务器的性能测试，需要将监控的jmeter-server的文件下载在服务端上，然后开启即可监控被测服务器的性能，或者将监控的软件下载在被测服务器上，远程启动监控软件等

3.数据库指标

应关注SQL，吞吐量，缓存命中率，连接数等，则是关注sql语句执行时间，以微妙为单位，吞吐量TPS，缓存命中率应>=95%

注：对数据库的性能测试通过jemter利用批量的sql语句对数据库进行操作，从而测试数据库的性能，前提是需要将jdbc的驱动加载在测试计划添加的驱动文件中，然后添加jdbc的前置处理器和jdbc的请求sample。

4.JVM：java虚拟机，为使java的代码可以编译运行在不同的平台上顺畅，仿真模拟各种计算机来实现

GC：自动内存管理程序，被引用的对象保存在内存中，当对象不被引用时则释放。关注的参数有Full GC完全java虚拟机垃圾部分回收频率

5.前端指标

前端应该关注页面展示，即首次显示时间，页面数量，页面大小，网络startRender，firstRender等

注：关注前端的性能与后端的性能的不同点在于，前端是每个用户的直观的感受，以及前端页面的加载元素耗费时间给予用户的感受，而后端的性能关注点在于多用户使用系统时，服务器是否能够承受或者服务器的处理能力如何，能否以较好的响应时间响应。

6.Load Average：系统平均负载，特定时间间隔内运行进程数，Load与CPU核数一致