测试开发实战Docker+Jmeter+InfluxDB+Grafana 搭建性能监控平台

Posted 2023-03-29 测试界的彭于晏

1. 为什么要搭建性能监控平台？

1.1 需求背景

在用 Jmeter 获取性能测试结果的时候， Jmeter 本身带有聚合报告如下图所示：

这个报告有几个很明显的缺点：

• 只能自己看，无法实时共享；
• 报告信息的展示比较简陋单一，不直观；

1.2 需求方案

为了解决上述问题，必须要请出了 InfluxDB + Grafana ：

• InfluxDB ：持续型数据库，有时间戳组件，以时间的形式去存储数据
• Grafana ：一款采用 Go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具

简单总结起来就是：
将 Jmeter 的数据导入 InfluxDB ，再用 Grafana 从 InfluxDB 中获取数据并以特定的模板进行展示

本次实践是用目前较为流行的 Docker 的方式进行部署，也推荐使用，作为一名普通的测试，会了点 Docker 的皮毛就已经爱不释手了，对于头疼的环境问题真的太好用了，强烈推荐。

现在我也找了很多测试的朋友，做了一个分享技术的交流群，共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源，没人解答问题，坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化，性能，安全，测试开发等等方面有一定建树的技术大牛
分享他们的经验，还会分享很多直播讲座和技术沙龙
可以免费学习！划重点！开源的！！！
qq群号：110685036

2、性能监控平台部署实践

2.1 Docker环境

本文的重点并不是介绍 Docker，所以不了解的小伙伴需要自己去学习一下基本的安装和操作，可参考之前发送的 Docker 文章 30。

2.2 InfluxDB部署

1）首先去下载InfluxDB的镜像，下载很简单，直接pull就好，默认为下载最新的镜像：

$ docker pull influxdb
复制代码

目前最新的influxdb不支持网页端的查看，仅可用命令行的形式，不过没有什么影响，如果真的想要有网页端的显示的话可以尝试下载较前的镜像：tutum/influxdb

2）启动一个容器，并将端口 8083 和 8086 映射出来，如果用的是 tutum/influxdb 镜像，在访问8083端口时就可以看到网页端的展示,我这里用的是最新的，所以就没有啦：

$ docker run -d --name jmeter-influx -p 8083:8083 -p 8086:8086 influxdb
复制代码

3）进入容器内部，创建名为jmeter的数据库：

进入 jmeter-influx 容器

$ docker exec -it jmeter-influx bash


root@517f57017d99:/#
复制代码

进入 influx ， create database jmeter 创建名为 jmeter 的数据库, show databases 命令查看数据库创建成功

root@517f57017d99:/# influx


Connected to http://localhost:8086 version 1.7.10


InfluxDB shell version: 1.7.10


> create database jmeter


> show databases


name: databases


name


----


_internal


jmeter
复制代码

4）使用 J meter 库， select 查看数据,这个时候应该是没有数据的：

$ > use jmeter


Using database jmeter


> select * from jmeter


>
复制代码

2.3 Jmeter脚本设置

这里需要创建一个登录注册场景的 Jmeter 脚本，往期文章有发布，本次就以此来进行测试结果演示。具体可参考之前发送的公众号文章。文章末尾的「往期回顾」第二篇文章即可阅读。

1）想要将 jmeter 的测试数据导入 influxDB ，就需要在 Jmeter 中使用 Backend Listener 配置

先看一下配置好的 Backend Listener ：

2）主要配置说明：
implementation 选择 influxdb 所对应的：

• influxdbUrl：需要改为自己influxdb的部署ip和映射端口，我这里是部署在本地，所以就是localhost,端口是容器启动时映射的8086端口，db后面跟的是刚才创建的数据库名称
• application：可根据需要自由定义，只是注意后面在 grafana 中选对即可
• measurement：表名，默认是 jmeter ，也可以自定义
• summaryOnly：选择true的话就只有总体的数据，false会将每个transaction都分别记录

3）运行验证
运行 Jmeter 脚本，然后再次在 influxdb 中查看数据，发现类似下面的数据说明输入导入成功：

2.4、Grafana部署

1）首先我们需要下载grafana的镜像：

$ docker pull grafana/grafana
复制代码

2）启动一个grafana容器,将3000端口映射出来：

$ docker run -d --name grafana -p 3000:3000 grafana/grafana
复制代码

3）网页端访问locahost:3000验证部署成功

4）选择添加数据源

5）找到并选择 influxdb :

6）配置数据源

数据源创建成功时会有绿色的提示：

7）导入模板

模板导入分别有以下3种方式：

• 直接输入模板id号
• 直接上传模板json文件
• 直接输入模板json内容

8）下载模板，在grafana的官网下载我们需要的展示模板

Grafana Labs

Grafana Dashboards - discover and share dashboards for Grafana.14

Grafana.com provides a central repository where the community can come together to discover and share dashboards.

下面这两个是我尝试过的模板：

9）导入模板，我这里选择的是导入json文件的方式，导入后如下，配置好模板名称和对应的数据源，然后 import 即可

10）展示设置，首先选择我们创建的application

注意： 如果我们修改过表名，也就是在jmeter的Backend Listener的measurement配置(默认为jmeter)，这个时候就需要去设置中进行修改(我这里使用的就是默认的，所以无需修改)：

3. 效果展示及推荐学习

经过一系列的奋斗之后，该到了我们检验成果的时候了。使用 Docker + JMeter + InfluxDB + Grafana 到底可以搭建怎样的性能监控平台呢？相比较 JMeter 自带的监控平台，我们搭建的性能监控平台究竟有什么优势呢？接下来就是展示成果的时候啦！

福利福利

如果你还有许多困惑，那么我整理的视频资源和文档会是你的良师益友，或许可以给你带来一些实际性的帮助与突破【保证100%免费】

JMeter深入进阶性能测试体系，接口性能测试，各领域企业实战

jmeter是apache公司基于java开发的一款开源压力测试工具，体积小，功能全，使用方便，是一个比较轻量级的测试工具，使用起来非常简单。因为jmeter是java开发的，所以运行的时候必须先要安装jdk才可以。jmeter是免安装的，拿到安装包之后直接解压就可以使用，同时它在linux/windows/macos上都可以使用。
??jmeter可以做接口测试和压力测试。其中接口测试的简单操作包括做http脚本（发get/post请求、加cookie、加header、加权限认证、上传文件）、做webservice脚本、参数化、断言、关联（正则表达式提取器和处理json-json path extractor）和jmeter操作数据库等等。

接口测试
Jmeter-http接口脚本
一般分五个步骤:（1）添加线程组 （2）添加http请求 （3）在http请求中写入接入url、路径、请求方式和参数 （4）添加查看结果树 （5）调用接口、查看返回值

jmeter 发get请求

 

 

jmeter 发post请求

 

jmeter 添加cookie

需要在线程组里添加配置元件—HTTP Cookie 管理器

 

 

jmeter 添加header
需要在线程组里面添加配置元件—HTTP信息头管理器

 

jmeter 上传文件

 

jmeter 参数化
入参经常变化的话，则可以设置成一个变量，方便统一修改管理；如果入参要求随机或可多种选择，则通过函数生成器或者读取文件形成一个变量。所以参数化有三种方式：用户定义的变量、函数生成器、读取文件。

（1）用户定义的变量
??需要添加配置元件-用户定义的变量。

 

 

（2）函数生成器
??需要用到函数助手功能，可以调用函数生成一些有规则的数据。常用的几个函数有_uuid、_random、_time。_uuid会生成一个随机唯一的id，比如在避免java请求重发造成未处理数据太多的情况，接口请求可加一个唯一的请求id唯一的响应id进行一一对应；随机数_random，可以在你指定的一个范围里取随机值；取当前时间_time，一些时间类的入参可以使用,如{__time(,)} 是生成精确到毫秒的时间戳、{__time(/1000,)}是生成精确到秒的时间戳、${__time(yyyy-MM-dd HH:mm:ss,)} 是生成精确到秒的当前时间。

 

（3）从文件读取
??需要在线程组里面添加配置元件-CSV Data Set Config
??其中Recycle on EOF:设置True后，允许循环取值

??具体的例子如下所示：

 

 

 

jmeter 断言
??jmeter断言用来检测响应返回的结果和我们预期的是否一致。若针对整个线程组的话，则在线程组下添加断言-响应断言；若只是针对某个请求的话，则在请求下添加断言-响应断言。

 

jmeter关联

??接口请求之间存在参数调用，为了保存这个参数，建立jmeter关联。比如登陆接口和购买商品接口，购买商品接口就需要登陆接口返回的token等登陆信息，jmeter关联就可以保存这个token信息，方便购买商品接口使用。
??jmeter关联可以通过二种方式来完成，获取到返回结果中指定的值。它们分别是正则表达式提取器、 json path extractor。
（1）正则表达式提取器
若想获取的返回值未匹配到，可以把正则表达式两边匹配的数据扩大点。

 

a. 关于正则表达式

()：括起来的部分就是要提取的。
.：匹配除换行外的任何字符串。
+：代表+号前面的字符必须至少出现一次（一次或多次）。
?：代表？前面的字符最多可以出现一次，在找到第一个匹配项后停止（0次或1次）。
：代表号前面的字符可以不出现，也可以出现一次或者多次（0次、1次或者多次）
(.*)：贪婪模式，匹配尽可能多的字符
（.*?）或（.+?）：匹配尽可能少的字符，一旦匹配到第一个就不往下走了。

b. 关于模板

??若想提取多个值的话，比如是a和b这两个值，则可以写成：$1$$2$。无论要提取多少个值，引用名称就是一个的，比如名称为id，${id_go}:获取整个字符串ab，${id_g1}：获取的是a，${id_g2}：获取的是b。
??下面有一个具体的实例，如下图所示：

 

 

 

（2）json path extractor
??jmeter通过安装json path extractor插件来处理json串，提取json串中的字段值。插件的下载地址：https://jmeter-plugins.org/?search=jpgc-json，下载完成，解压后，直接把lib文件夹放到jmeter相应目录下面。特别说明：jmeter 2.xx左右的版本尝试过无法使用该插件，在jmeter 3.xx左右的版本装完插件后能正常使用。
??需要在请求下创建后置处理器[email protected] Path Extractor，具体的实例如下所示：

 

 

 

??关于json path相关插件的方法和使用，推荐可以看这篇博客： http://www.jianshu.com/p/56a607fc0d8f

jmeter 操作数据库
??操作数据库基本有四个步骤：（1）导入mysql的jdbc的jar包 （2）创建数据库的连接配置，线程组里添加配置元件-JDBC Connection Configuration （3）线程组里添加jdbc request，写sql语句 （4）添加察看结果树，点击启动按钮，就能看到执行的SQL。具体的实例如下截图所示：

 

 

 

 

??特别说明：jmeter还可以操作oracle、postgreSQL、msSQL、mongodb等等数据库，同时不同的数据库，JDBC Connection Configuration填写的Database url格式和JDBC Driver驱动名称也不相同。jmeter数据库驱动列表如下表所示：

数据库 驱动 数据库url
mysql com.mysql.jdbc.Driver jdbc:mysql://host:port/{dbname}?allowMultiQueries=true
oracle org.postgresql.Driver dbc:postgresql:{dbname}
Jmeter-webservice接口脚本
??基本分为五个步骤：(1)先需要通过soapui工具获取到webservice接口的请求地址、请求报文和请求soapaction。（2）jmeter新建一个线程组 （3）线程组下建立SOAP/XML-RPC Request，写入请求url、请求报文、请求soapaction。（3）启动jmeter，调用接口，通过察看结果树查看返回值。
??soapui获取信息的实例如下图所示：

 

??soapui提交完后，点击raw,可看到soapation，有些接口若没返回soapation,则jmeter里也就不用填。

?? jmeter-webservice脚本实例如下图所示：

 

压力测试
??压力测试分两种场景：一种是单场景，压一个接口的；第二种是混合场景，多个有关联的接口。压测时间，一般场景都运行10-15分钟。如果是疲劳测试，可以压一天或一周，根据实际情况来定。

压测任务需求的确认
压测前要明确压测功能和压测指标，一般需要确定的几个问题：

固定接口参数进行压测还是进行接口参数随机化压测？
要求支持多少并发数？
TPS（每秒钟处理事务数）目标多少？响应时间要达到多少？
压服务器名称还是压服务器IP，一般都是压测指定的服务器
压测设置
线程数：并发数量，能跑多少量。具体说是一次存在多少用户同时访问
Rame-Up Period(in seconds):表示JMeter每隔多少秒发动并发。理解成准备时长：设置虚拟用户数需要多长时间全部启动。如果线程数是20，准备时长为10，那么需要10秒钟启动20个数量，也就是每秒钟启动2个线程。
循环次数：这个设置不会改变并发数，可以延长并发时间。总请求数=线程数*循环次数
调度器：设置压测的启动时间、结束时间、持续时间和启动延迟时间。
压测结果查看
??运行完后，聚合报告会显示压测的结果。主要观察Samples、Average、error、Throughput。

Samples:表示一共发出的请求数
Average：平均响应时间，默认情况下是单个Request的平均响应时间（ms）
Error%:测试出现的错误请求数量百分比。若出现错误就要看服务端的日志，配合开发查找定位原因
Throughput:简称tps,吞吐量，默认情况下表示每秒处理的请求数，也就是指服务器处理能力，tps越高说明服务器处理能力越好。
压测结果的分析
有错误率同开发确认，确定是否允许错误的发生或者错误率允许在多大的范围内；

Throughput吞吐量每秒请求的数大于并发数，则可以慢慢的往上面增加；若在压测的机器性能很好的情况下，出现吞吐量小于并发数，说明并发数不能再增加了，可以慢慢的往下减，找到最佳的并发数；

压测结束，·登陆相应的web服务器查看CPU等性能指标，进行数据的分析;

最大的tps:不断的增加并发数，加到tps达到一定值开始出现下降，那么那个值就是最大的tps。

最大的并发数：最大的并发数和最大的tps是不同的概率，一般不断增加并发数，达到一个值后，服务器出现请求超时，则可认为该值为最大的并发数。
压测过程出现性能瓶颈，若压力机任务管理器查看到的cpu、网络和cpu都正常，未达到90%以上，则可以说明服务器有问题，压力机没有问题。
影响性能考虑点包括：数据库、应用程序、中间件（tomact、Nginx）、网络和操作系统等方面。
jmeter在linux下进行压力测试
jmeter 在linux安装
??简单说下，就是要先安装jdk,同时再配置环境变量，最后再上传jmeter压缩的安装包，在linux下解压完安装包就可以使用了。推荐博客：http://blog.csdn.net/zhemeteor/article/details/51315874

jmeter在linux运行
进入jmeter下的bin目录下运行脚本，未配置jmeter环境变量的条件下，运行的命令：
---------------------
作者：Test-huhy
来源：CSDN
原文：https://blog.csdn.net/github_27109687/article/details/71968662
版权声明：本文为博主原创文章，转载请附上博文链接！