性能工具之 Locust 工具关联与参数化

Posted zuozewei

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了性能工具之 Locust 工具关联与参数化相关的知识,希望对你有一定的参考价值。

前言

不同的压力工具在参数化的实现逻辑上也会不同,但是参数化必须依赖业务逻辑,而不是工具中能做到什么功能。所以在参数化之前,我们必须分析真实业务逻辑中如何使用数据,再在工具中选择相对应的组合参数的方式去实现。

参数化

在 Locust 工具中有怎么使用参数化完成工作,在开展工作开始前,先了解 Python 中的一个 Queue 类,queue它是一个队列数据结构是先进先出的数据结构,具体原理大家自己查询即可。

Queue种类:

FIFO:
Queue.Queue(maxsize=0)
FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。如果maxsize小于或者等于0,队列大小没有限制。

LIFO
Queue.LifoQueue(maxsize=0)
LIFO即Last in First Out,后进先出。与栈的类似,使用也很简单,maxsize用法同上。

priority
class Queue.PriorityQueue(maxsize=0)
构造一个优先队列。maxsize用法同上。

基本方法:

  • Queue.Queue(maxsize=0) FIFO, 如果maxsize小于1就表示队列长度无限
  • Queue.LifoQueue(maxsize=0) LIFO, 如果maxsize小于1就表示队列长度无限
  • Queue.qsize() 返回队列的大小
  • Queue.empty() 如果队列为空,返回True,反之False
  • Queue.full() 如果队列满了,返回True,反之False
  • Queue.get([block[, timeout]]) 读队列,timeout等待时间
  • Queue.put(item, [block[, timeout]]) 写队列,timeout等待时间
  • Queue.queue.clear() 清空队列

队列 queue 多应用在多线程应用中,多线程访问共享变量。对于多线程而言,访问共享变量时,队列queue是线程安全的。

有以上简单基础知识后,直接上 Locust 脚本怎么编写参数化,直接仿照即可写出参数脚本,下面是简单一个参数化代码。

import csv
import os, requests
import queue
from locust import TaskSet, task, HttpUser
from requests.packages.urllib3.exceptions import InsecureRequestWarning

# 禁用安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)


def fnReadData():
    f = open("uuid.text", "r") #读取参数文件
    data = []                  #声明空列表
    data = csv.reader(f)      #通过 csv读取文件内容
    s = queue.Queue()         #实例化一个queue对象
    for each in data:         #循环读取open里面的数据
        for key in each:
            try:
                s.put_nowait(key)    #put到队列中
            except queue.Full:
                print("Queue overflow")
    f.close()
    return s


class MyBlogs(TaskSet):
    # 访问我的博客首页
    @task(1)
    def get_blog(self):
        # 定义请求头
        header = 
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
        data = self.user.queueData.get()
        req = self.client.get("/357712148/%s" % data, headers=header, verify=False)
        if req.status_code == 200:
            print("success")
        else:
            print("fails")


class httpGet(HttpUser):
    tasks = [MyBlogs]
    min_wait = 3000  # 单位为毫秒
    max_wait = 6000  # 单位为毫秒
    queueData = fnReadData()  # 队列实例化


if __name__ == "__main__":
    #通过好
    os.system("locust -f lcome.py --host=https://blog.com  --headless -u 1 -r 1 -t 1s")

参数化文件:

运行结果:

[2021-04-25 13:39:51,536] liwen.local/INFO/locust.main: Run time limit set to 1 seconds
[2021-04-25 13:39:51,536] liwen.local/INFO/locust.main: Starting Locust 1.4.4
[2021-04-25 13:39:51,536] liwen.local/INFO/locust.runners: Spawning 1 users at the rate 1 users/s (0 users already running)...
[2021-04-25 13:39:51,536] liwen.local/INFO/locust.runners: All users spawned: httpGet: 1 (1 total running)
[2021-04-25 13:39:51,537] liwen.local/INFO/root: Terminal was not a tty. Keyboard input disabled
 Name                                                          # reqs      # fails  |     Avg     Min     Max  Median  |   req/s failures/s
--------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------
 Aggregated                                                         0     0(0.00%)  |       0       0       0       0  |    0.00    0.00

success
success
success
[2021-04-25 13:39:52,536] liwen.local/INFO/locust.main: Time limit reached. Stopping Locust.
[2021-04-25 13:39:52,537] liwen.local/INFO/locust.runners: Stopping 1 users
[2021-04-25 13:39:52,537] liwen.local/INFO/locust.runners: 1 Users have been stopped, 0 still running
[2021-04-25 13:39:52,537] liwen.local/INFO/locust.main: Running teardowns...
[2021-04-25 13:39:52,537] liwen.local/INFO/locust.main: Shutting down (exit code 0), bye.
[2021-04-25 13:39:52,537] liwen.local/INFO/locust.main: Cleaning up runner...
 Name                                                          # reqs      # fails  |     Avg     Min     Max  Median  |   req/s failures/s
--------------------------------------------------------------------------------------------------------------------------------------------
 GET /357712148/2525651                                             1     0(0.00%)  |     238     238     238     238  |    1.30    0.00
 GET /357712148/2532241                                             1     0(0.00%)  |     210     210     210     210  |    1.30    0.00
 GET /357712148/2562906                                             1     0(0.00%)  |     320     320     320     320  |    1.30    0.00
--------------------------------------------------------------------------------------------------------------------------------------------
 Aggregated                                                         3     0(0.00%)  |     256     210     320     240  |    3.89    0.00

Response time percentiles (approximated)
 Type     Name                                                              50%    66%    75%    80%    90%    95%    98%    99%  99.9% 99.99%   100% # reqs
--------|------------------------------------------------------------|---------|------|------|------|------|------|------|------|------|------|------|------|
 GET      /357712148/2525651                                                240    240    240    240    240    240    240    240    240    240    240      1
 GET      /357712148/2532241                                                210    210    210    210    210    210    210    210    210    210    210      1
 GET      /357712148/2562906                                                320    320    320    320    320    320    320    320    320    320    320      1
--------|------------------------------------------------------------|---------|------|------|------|------|------|------|------|------|------|------|------|
 None     Aggregated                                                        240    240    320    320    320    320    320    320    320    320    320      3

关联

相对于关联都是获取响应结果来做入参,关联理论请参考关联和断言:一动一静,核心都是在取数据 这里面理论已经讲解很清楚,现在看看 locust 怎么关联数据。

打开项目工程 关键内容如下:

/**
     * 需要关联的数据
     *
     * @param id
     * @return
     */
    @GetMapping("/associated/id")
    @ResponseBody
    public R associated(@PathVariable Integer id) 
        HashMap<String, Object> map = new HashMap<>();
        if (StringUtils.isEmpty(id)) 
            return R.error();
         else if (id == 1) 
            HttpHeaders headers = new HttpHeaders();
            //根据自己的需要动态添加你想要的content type
            headers.add(HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE);
            map.put("des", "关联数据");
            map.put("rew", 6666);
            map.put("header", headers);
            return R.ok().put("data", map);
         else 
            return R.error().put("data", map);
        
    

    /**
     * 需要关联的数据
     *
     * @param id
     * @return
     */
    @GetMapping("/associated/data/id")
    @ResponseBody
    public R associatedData(@PathVariable Integer id) 
        HashMap<String, Object> map = new HashMap<>();
        if (StringUtils.isEmpty(id)) 
            return R.error();
         else if (id == 6666) 
            map.put("des", "关联数据成功");
            map.put("rew", 8888);
            return R.ok().put("data", map);
         else 
            return R.error().put("data", map);
        
    

locust 脚本参考:


  def get_param(self):
        '''获取参数'''
        response = self.client.get("/associated/1")
        print("Response json:", type(response.json()))  # 判断类型
        print("Response json:", response.json())
        res = response.json()  # 转换字典
        return res['data']['rew']  # 获取参数

    @task(1)
    def request_param(self):
        '''关联参数请求'''
        id = self.get_param()
        response = self.client.get("/associated/data/%s" % id)
        print("Response json:", type(response.json()))  # 判断类型
        print("Response json:", response.json())

结果:


[2021-04-25 22:52:25,837] liwen.local/INFO/locust.main: Run time limit set to 1 seconds
[2021-04-25 22:52:25,837] liwen.local/INFO/locust.main: Starting Locust 1.4.4
[2021-04-25 22:52:25,837] liwen.local/INFO/locust.runners: Spawning 1 users at the rate 1 users/s (0 users already running)...
[2021-04-25 22:52:25,838] liwen.local/INFO/locust.runners: All users spawned: webTestDunShan: 1 (1 total running)
[2021-04-25 22:52:25,838] liwen.local/INFO/root: Terminal was not a tty. Keyboard input disabled
 Name                                                          # reqs      # fails  |     Avg     Min     Max  Median  |   req/s failures/s
--------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------
 Aggregated                                                         0     0(0.00%)  |       0       0       0       0  |    0.00    0.00

Response json: <class 'dict'>
Response json: 'msg': 'success', 'code': 0, 'data': 'des': '关联数据', 'rew': 6666, 'header': 'Content-Type': ['application/json']
Response json: <class 'dict'>
Response json: 'msg': 'success', 'code': 0, 'data': 'des': '关联数据成功', 'rew': 8888
.........
Response json: 'msg': 'success', 'code': 0, 'data': 'des': '关联数据成功', 'rew': 8888
Response json: <class 'dict'>
Response json: 'msg': 'success', 'code': 0, 'data': 'des': '关联数据', 'rew': 6666, 'header': 'Content-Type': ['application/json']
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.main: Time limit reached. Stopping Locust.
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.runners: Stopping 1 users
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.runners: 1 Users have been stopped, 0 still running
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.main: Running teardowns...
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.main: Shutting down (exit code 0), bye.
[2021-04-25 22:52:26,705] liwen.local/INFO/locust.main: Cleaning up runner...
 Name                                                          # reqs      # fails  |     Avg     Min     Max  Median  |   req/s failures/s
----------------------------------------以上是关于性能工具之 Locust 工具关联与参数化的主要内容,如果未能解决你的问题,请参考以下文章

性能工具之 Locust 工具关联与参数化

locust性能测试实战

性能工具之locust工具get与post请求

性能工具之locust工具get与post请求

性能工具之 Locust 工具 Get 与 Post 请求

性能工具之 Locust 工具 Get 与 Post 请求