性能测试-响应时间的百分比指标

Posted 2020-09-10 crazyfish

性能测试-响应时间的百分比指标

　　先前看过一本书，说到了性能测试者的关键数学原理，充分说明了关于性能测试一些数据的统计和分析，最大力度的获取性能测试的真实指标。对此有也有些自己的感想，尤其是响应时间，和用户切身相关的性能指标，通过百分比指标的分析，性能结果的好坏一目了然。

　　首先，大家看一组响应时间的数据：

　　

　　假设，我们执行某个任务，响应时间的需求指标上限为1秒，开发了两种方案：A、B，而且我们也做了相关的执行测试，分别收集了十组响应时间的性能数据。虽然，两组数据平均响应时间都一样，均为1秒，但本质上，差距还是很大的。List A方案，90%的用户响应时间都在1秒以内，而List B方案，只有60%的用户响应时间符合1秒以内的要求，单从用户体验的角度来说，List A显然要好于List B，List B有40%的用户会感觉不满意，因为用户感受到的恰恰是这种差异化，并不是平均的数据，所以平均值这种数据的统计意义和价值，要辩证的来看待。而这种数据百分比的模式恰恰会帮助我们避免出现这种情况，因为除了平均响应时间，我们通过关注90%响应时间，甚至95%的响应时间，能更加精确的定位到性能数据的这种差异化分布，而不仅仅是平均。List A 90%的响应时间为0.987秒，List B 90%的响应时间为1.273秒，因此，这种百分比的数据模式，比单纯的平均响应时间要包含更多的信息。

　　另外，前面提到的关于一本web性能测试的书，关于性能测试者的关键数学原理，和性能测试的百分比模式有异曲同工之妙。关于关键数学原理这块知识，通过三组数据，分别介绍了平均值、百分比数据、中位数、正常值、标准偏差、均匀分布、正态分布等等，也从统计学方面做了说明。