指标数据TP50、TP90、TP99、TP999

Posted 2023-05-08

参考技术A 概念：TP指标: 指在一个时间段内，统计该方法每次调用所消耗的时间，并将这些时间按从小到大的顺序进行排序,并取出结果为：总次数 * 指标数 = 对应TP指标的值， 在取出排序好的时间。

TP50：指在一个时间段内（如5分钟），统计该方法每次调用所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第50%的那个值作为TP50 值；配置此监控指标对应的报警阀值后，需要保证在这个时间段内该方法所有调用的消耗时间至少有50%的值要小于此阀值，否则系统将会报警。

TP90，TP99，TP999与TP50值计算方式一致，它们分别代表着对方法的不同性能要求，TP50相对较低，TP90则比较高，TP99，TP999则对方法性能要求很高。

举个例子：有四次请求耗时分别为：

10ms，1000ms，100ms，2ms

那么我们可以这样计算TP99：4次请求中，99%的请求数为4*0.99，进位取整也就是4次，满足这全部4次请求的的最低耗时为1000ms，也就是TP99的答案是1000ms。

高并发监控[一]:TP90TP99耗时监控设计与实现

背景

性能测试中,我们经常选择TP90、TP95、TP99等指标项作为性能对比的参考水位, 在本文中,我们给出一种计算 TP90、TP95 和 TP99 等水位线的方法,首先我们解释一下TP90、TP95、TP99的含义.

• TP90: 即 90% 的数据都满足某一条件.
• TP95: 即 95% 的数据都满足某一条件.
• TP99: 即 99% 的数据都满足某一条件.

我们之所以说其“满足某一条件”，是因为在计算的时候，我们既可以向前计算也可以向后计算，例如：

• 1, 2, 3, …, 98, 99, 100

如上所示，这是一个从 1 至 100 的数列，如果我们想计算其 TP99 的值，其方法为用数列中数值的总个数乘以 99%，即100 * 99% = 99，显然在这个数列中有两个数值满足这个 99 的概念，分别为：

• 2: 即数列中 99% 的数值都大于等于2
• 99: 即数列中 99% 的数值都小于等于99

因此，TP90、TP95 或者 TP99 等水位线是有两种含义的，具体选择哪一种，我们可以按需求自己选择。

设计思路
如果我们要计算 TP90、TP95 或者 TP99 等水位线的值，其前提就是需要我们将所有的待计算数据保存并进行排序。首先我们应该用什么数据结构来存储这一系列的值呢？数组？或者列表？实际上，无论我们选择哪一种数据结构，我们都不能假设其长度无限大，因为内存空间是有限的，而且数据结构也有理论上的最大值，但是我们要存储的值的个数却可能是无限的。因此，我们就需要利用有限长度的数据结构存储更多的数值。在这里，数据结构我们选择TreeMap，以计算耗时的 TP90、TP95 或者 TP99 等水位线为例：
<1,1><5,3><6,1><2,2>< 3,3><4,2><7,2><9,3><10,3>

TreeMap<Long,Long>: key为耗时,value为该耗时下的数据个数,TreeMap是红黑色树数据结构实现,可在初始化时指定其key的排序规则(从小到大):
TreeMap<Long, Long> treeMap = new TreeMap<>(Comparator.naturalOrder());

TreeMap<Long, Long> treeMap = new TreeMap<>(Comparator.naturalOrder());

排序后的数据如下:
<1,1> <2,2> < 3,3> <4,2> <5,3> <6,1> <7,2> <9,3> <10,3>
排序完成后我们需要对总的数据量计进行统计,即对TreeMap的value的数据个数进行循环累加统计:

Long total=treeMap.values().stream().mapToLong(o->o).sum();
total:20

接下来完成对TP90、TP95和TP99的index计算:

Double idx90= Math.ceil((double)total*90/100);
idx90:19
Double idx95= Math.ceil((double)total*95/100);
idx95:20
Double idx99= Math.ceil((double)total*99/100);
idx99:20

此时我们可以看到TP90的index为19,TP95和TP99的index为20,根据TreeMap的耗时分部情况如下:

那如何将index和我们的区间数据进行映射找寻出该区间对应的耗时呢? 我们可以通过对treeMap数据进行一次recordMap转换,recordMap key记录耗时的第一个idx,value则为该耗时数值:

TreeMap<Long, Long> transMap = new TreeMap<>(Comparator.naturalOrder());
AtomicReference<Long> idx= new AtomicReference<>(0l);
treeMap.forEach((key,value)->
    transMap.put(idx.get(),key);
    idx.updateAndGet(v -> v + value);
); 

 则转换后的数据如下:

0=1, 1=2, 3=3, 6=4, 8=5, 11=6, 12=7, 14=9, 17=10

然后可以通过java8提供的floorEntry返回小于或等于给定的键的值映射:

Long total=treeMap.values().stream().mapToLong(o->o).sum();
Double idx90= Math.ceil((double)total*90/100);
Double idx95= Math.ceil((double)total*95/100);
Double idx99= Math.ceil((double)total*99/100);
Map.Entry<Long, Long> idx90Entry = transMap.floorEntry(idx90.longValue());
Map.Entry<Long, Long> idx95Entry = transMap.floorEntry(idx95.longValue());
Map.Entry<Long, Long> idx99Entry = transMap.floorEntry(idx99.longValue());

Long TP90=idx90Entry.getValue();
Long TP95=idx95Entry.getValue();
Long TP99=idx99Entry.getValue();

代码实现

整体代码实现如下:

@Test
public void test03()
    TreeMap<Long, Long> treeMap = new TreeMap<>(Comparator.naturalOrder());
    // <1,1> <5,3> <6,1> <2,2> <3,3> <4,2> <7,2> <9,3> <10,3>
    treeMap.put(1l,1l);
    treeMap.put(5l,3l);
    treeMap.put(6l,1l);
    treeMap.put(2l,2l);
    treeMap.put(3l,100l);
    treeMap.put(4l,2l);
    treeMap.put(7l,2l);
    treeMap.put(9l,3l);
    treeMap.put(10l,3l);

    TreeMap<Long, Long> transMap = new TreeMap<>(Comparator.naturalOrder());
    AtomicReference<Long> idx= new AtomicReference<>(0l);
    treeMap.forEach((key,value)->
        transMap.put(idx.get(),key);
        idx.updateAndGet(v -> v + value);
    );

    Long total=treeMap.values().stream().mapToLong(o->o).sum();
    Double idx90= Math.ceil((double)total*90/100);
    Double idx95= Math.ceil((double)total*95/100);
    Double idx99= Math.ceil((double)total*99/100);
    Map.Entry<Long, Long> idx90Entry = transMap.floorEntry(idx90.longValue());
    Map.Entry<Long, Long> idx95Entry = transMap.floorEntry(idx95.longValue());
    Map.Entry<Long, Long> idx99Entry = transMap.floorEntry(idx99.longValue());

    Long TP90=idx90Entry.getValue();
    Long TP95=idx95Entry.getValue();
    Long TP99=idx99Entry.getValue();

    System.out.println("TP90:"+TP90+", TP95:"+TP95+", TP99:"+TP99);