JMeter - 实时结果 - InfluxDB和Grafana - 第1部分 - 基本设置

Posted DaisyLinux

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了JMeter - 实时结果 - InfluxDB和Grafana - 第1部分 - 基本设置相关的知识,希望对你有一定的参考价值。

概述:

在本文中,我将解释如何使用JMeter + InfluxDB + Grafana获得实时性能测试结果。

请注意,此主题太大,无法涵盖一篇文章中的所有内容。所以,我试图提供与TestAutomationGuru的其他文章的链接,这些文章可能与本文有关。请尽可能检查一切。

问题陈述:

多年前,当我以前运行JMeter测试时,我无法理解测试执行期间应用程序的性能。我总是不得不等待测试完成。这有点烦人 - 特别是在长时间运行的测试中。有时,我可能不得不连续2/3天进行浸泡测试。

在某些时候,JMeter 在非GUI模式下启用了2.11版本汇总器输出。运行JMeter测试时,您可以看到以下输出。

技术图片

它有点帮助,上面的摘要提供了测试运行时需要的大量信息。它显示每30秒的  最小最大平均响应时间,吞吐量错误计数活动用户(可以在jmeter.properties中更改摘要间隔

但是当测试运行几个小时并且每30秒在控制台中有大量的汇总器输出时,可能有点难以理解结果。例如,如果我想知道速率下降的活动用户数,我需要非常仔细地逐行检查汇总器输出!我无法与开发团队/应用程序架构师分享结果,因为结果不是非常用户友好的格式。要创建一个漂亮的图形,我需要等待JMeter测试完成。

因此,我没有在控制台中编写这个摘要输出,而是修改了JMeter的摘要类以将结果发送到数据库 - 这样我就可以通过查询数据库来创建一个漂亮的图表。对我们的团队来说,实时分析性能测试结果非常有帮助。JMeter还在2.13版本中添加了一个单独的监听器,它将数据发送到数据库,这可以帮助我们获得实时结果。

我将介绍JMeter的方法和我的方法。你可以遵循其中任何一个。不是都!!

解决方案1:

后端监听器 - JMeter实现:

JMeter v2.13引入了一个新的监听器,用于在测试运行时将结果发送到时间序列数据库(Influxdb / graphite)。通过配置Grafana(一个开源指标仪表板)连接到Influxdb / graphite,我们可以创建漂亮的图形,这将帮助我们在JMeter运行测试时获得实时指标!

技术图片

时间序列数据库:时间序列是随时间变化采集的数据序列。时序数据库是处理时间序列数据的软件应用程序。想象它就像一个sql表,其中时间是主键!

我们将在本文中使用InfluxDB  作为我们的数据库。点击此处 了解更多信息。

您可能想知道的术语很少:

  • 测量   - >这相当于RDBMS表
  • 系列                   - >每一项测量记录。它就像桌子的行。
  • 标签                      - >表的可选列。它是索引列,可以加快搜索速度。
    • 标记键     - >索引列的名称
    • 标记值 - >索引值
  • 字段                    - >这是存储您要测量的实际数据的列。就像页面的响应时间一样。

 

JMeter&InfluxDB集成:

InfluxDB设置:

  • 下载InfluxDB
  • 检查此链接是否为InfluxDB设置。 [注意:在撰写本文时,v1.3是最新的涌入版本。如果此链接不起作用,请检查Influxdb网站以获取更多信息。]
  • 找到Influxdb的配置文件
    • 在这里:/opt/influxdb/shared/config.toml
    • 或者在这里:  /usr/local/etc/influxdb.conf
  • 如果您无法找到配置文件,可以使Influxdb显示默认配置。执行以下命令。
influxd config
  • 该命令将显示所有默认值。复制值并自己创建配置文件。
  • JMeter使用石墨协议将值写入InfluxDB因此,在InfluxDB配置文件中找到graphite协议部分并启用它,如下所示。
[[graphite]]
    enabled = true
    bind-address = ":2003"
    database = "jmeter"
    retention-policy = ""
    protocol = "tcp"
    batch-size = 5000
    batch-pending = 10
    batch-timeout = "1s"
    consistency-level = "one"
    separator = "."
    udp-read-buffer = 0
  • 修改后,使用以下命令重新启动Influxdb服务器以使更改生效。   
influxd -config /path/to/config/file
  • 检查InfluxDB日志是否有任何错误。此时,InfluxDB应该正常运行。

一旦InfluxDB  启动并运行,下一步就是创建一个JMeter测试,将测试数据发送到InfluxDB。

JMeter设置:

  • 确保您具有Java 8或更高版本。
  • 下载JMeter  3.3或更高版本
  • 启动JMeter。创建一个简单的测试。
  • 添加后端侦听器

技术图片

  • 更新InfluxDB  服务器IP,端口详细信息如上所示
  • 运行测试。等几秒钟
  • 检查JMeter日志是否存在与向InfluxDB发送数据相关的任何连接错误。你不应该看到任何错误!如果有,请在此处查看故障排除步骤。然后回来继续从这里开始!

InfluxDB - Shell命令:

  • 在运行InfluxDB的机器中执行以下命令。
influx
Connected to http://localhost:8086 version 1.3.6
InfluxDB shell version: 1.3.6
  • 执行以下命令以查看数据库列表。
SHOW DATABASES
name: databases
name
----
_internal
jmeter
  • 执行以下命令以使用JMeter DB。
USE jmeter
Using database jmeter
  • 执行以下命令以查看JMeter DB下的表或测量列表。
show measurements
name: measurements
name
----
jmeter.all.ok.count
jmeter.all.h.count
jmeter.all.ok.min
jmeter.all.ok.max
jmeter.all.ok.avg
...........
  • 此时,您会看到InfluxDB中创建了一堆测量值JMeter  在‘ jmeter ‘数据库中创建了这些  测量

希望您能够将测试结果成功发送到InfluxDB恭喜。现在是我们设置Grafana服务器从测试结果创建图表的时候了。

Grafana-InfluxDB集成:

  • 下载Grafana
  • 启动Grafana服务器。(在我的窗口中,我有这里exe - > GRAFANA_HOME / bin / grafana-server.exe)
  • 使用此URL http:// localhost:3000启动浏览器  以访问Grafana主页。
  • 更新Grafana数据源以指向InfluxDB实例。

技术图片

 

  • 单击Test连接以确保Grafana可以连接到InfluxDB
  • 创建一个新的仪表板。

技术图片

  • 让我们添加一个Graph面板

技术图片

  • 添加后,单击面板标题进行编辑并添加查询以显示您感兴趣的指标。选中此视频以创建最小值指标的图表。
视频播放器
 
 
 

 

希望你现在有了这个主意!你可以从这里开始创建不同的指标!

我为我的应用程序创建了不错的仪表板。您可以继续阅读本文,下载并使用它们!

JMeter的后端监听器出现问题: 

JMeter的Backend Listener真正帮助我们获得实时性能测试结果。然而,它创造了大量的测量。‘min‘,‘max‘值可能与您的汇总报告一致。但是你不能指望百分位数,吞吐量,平均值与你的汇总报告相匹配!! 因为此侦听器会为每个给定的间隔(例如每1秒)计算这些值。随着时间的推移,你基本上可以获得吞吐量。不是整个测试期间。所以,它不匹配。

我的自定义方法帮助我按照我想要的方式获得结果。

 

解决方案2:

ustom Listener [TestAutomationGuru Implemenation]:

由于上面提到的JMeter后端监听器的限制并且为了实现我的目标,我只想用我自己的实现 - 通过更新具有摘要的Apache核心库(它负责编写上面提到的聚合信息)在控制台中) - 所以只要它在控制台中写入信息,它也可以更新InfluxDB中的数据。没有为此目的创建单独的监听器似乎对我来说没问题,因为在测试中添加更多的监听器将消耗内存并可能影响我的测试。性能方面 - 这种方法比添加新的后端监听器表现更好,因为我不必为计算添加任何额外的逻辑。

InfluxDB设置:

  • 在InfluxDB配置文件中启用HTTP API,以便在InfluxDB中写入结果。重启InfluxDB。
[http]
  # Determines whether HTTP endpoint is enabled.
   enabled = true

  # The bind address used by the HTTP service.
   bind-address = ":8086"

InfluxDB - Shell命令:

  • 在运行InfluxDB的机器中执行以下命令。
influx
Connected to http://localhost:8086 version 1.3.6
InfluxDB shell version: 1.3.6
  • 执行以下命令创建一个新的DB - jmeter(如果它还没有)
CREATE DATABASE jmeter

JMeter设置:

  • 您不需要为测试添加任何监听器!
  • 下载修改后的Apache JMeter核心库 - 替换lib / ext  文件夹中的现有核心库  最好在更换之前备份旧的备份。您应该使用JMeter版本3.3

	TAG-Influx-Grafana.zip(2991次下载)
  • 它将在下面的属性。使用命令行/ ant等更新user.properties文件/将下面的属性传递给测试。
# True to send data to influx db
summariser.influx.out.enabled=true

# True to send write the info it sends to influx db - enable only for debugging purpose
# summariser.influx.out.enabled=false

# Influx host, port, db details details
summariser.influx.url=http://localhost:8086/write?db=jmeter

# use below format if there is any username & password for influxdb
# http://localhost:8086/write?db=jmeter&u=myusername&p=mypassword

# Name of your application - Useful for querying the results when you use this framework for multiple applications
# Do not add any space or dot or any other special chars
summariser.influx.application=myApp

# Perofrmance test strategy - Useful for querying the results when you use this framework for multiple strategies
# Do not add any space or dot or any other special chars
summariser.influx.application.suite=stress-test

# timeouts
summariser.influx.connection.timeout=5000
summariser.influx.socket.timeout=5000
summariser.influx.request.timeout=5000
  • 在NON-GUI模式下运行任何JMeter测试,启用摘要生成器。它应该将数据发送到InfluxDB。

InfluxDB - Shell命令:

  • 执行以下命令以查看数据库列表。
SHOW DATABASES
name: databases
name
----
_internal
jmeter
  • 执行以下命令以使用JMeter DB。
USE jmeter
Using database jmeter
  • 执行以下命令以查看JMeter DB下的表或测量列表。
show measurements
name: measurements
name
----
delta
samples
total

 

注意:

  • 如果您使用testautomationguru的修改过的apache_core jar,那么您不需要‘ Backend Listener ‘。jar本身将负责发送结果。
  • 如果apache核心库在超时内无法访问InfluxDB - 它将永远不会重试  发布测试数据。这是按照我的设计!服务器可能已关闭或可能是防火墙问题。我不想继续尝试,因为它可能会影响测试性能。确保它可以访问。
  • 此插件旨在仅在非GUI模式测试中发布数据绝不推荐在GUI模式下运行测试!
如果您仍然面临将数据发送到InfluxDB的问题 - 请检查此帖子以进行故障排除。

 

Grafana仪表板:

下载的zip文件还应包含Grafana仪表板(采用JSON格式)。在Grafana中导入这些仪表板文件(您可以在Home下找到导入功能,如下所示) - 请在导入这些仪表板之前安装Grafana饼图插件 - 请在此处查看

技术图片

成功导入后,它将创建仪表板,如下所示。它将来自增量测量的数据显示为适当的度量标准。(确保您的Grafana正确设置了数据源。它应该指向我们发布数据的InfluxDB实例)。

聚合仪表板:

技术图片

样品仪表板:

此仪表板将从Samples测量中检索数据。您可以根据特定页面,状态等进一步过滤。有时,当请求失败时(比如某些auth错误),响应时间可能会非常短 - 因此吞吐量会很大。这个不对。这就是为什么我有状态过滤器来获得成功的吞吐量。

通过调整‘Summarize‘下拉菜单,让grafana计算不同时间间隔的吞吐量。

技术图片

摘要:

使用JMeter的后端监听器/自定义监听器+ InfluxDB + Grafana - 我们可以创建令人惊叹的图表,它们将为我们提供JMeter正在运行的测试的实时指标。如果您有长时间运行的测试,则无需等待测试完成以访问结果。只需分享Grafana仪表板URL - 这样任何有链接的人都可以看到正在发生的事情!

请查看以下与此相关的文章。

 


有问题吗?

注意:   确保Influx服务器的系统时间与运行JMeter的计算机同步。这是非常重要的。因为当您查询Influxdb时 - 默认情况下它会显示时间为<=系统时间的记录。如果JMeter机器的时间是,比如说下午4:50。InfluxDB服务器系统时间是下午4:45。当您运行JMeter测试时,它将能够将记录发布到InfluxDB。但是,当您查询Influxdb时,它不会显示这些记录。您需要等待5分钟才能看到插入的记录。 

即使遵循了所有步骤,它也无法按预期工作?没问题; 点击此处查看排除故障的步骤。

以上是关于JMeter - 实时结果 - InfluxDB和Grafana - 第1部分 - 基本设置的主要内容,如果未能解决你的问题,请参考以下文章

性能测试监控平台:InfluxDB+Grafana+Jmeter

性能测试五十:Jmeter+Influxdb+Grafana实时数据展示系统搭建

Centos7.X 搭建Grafana+Jmeter+Influxdb 性能实时监控平台,

基于InfluxDB&Grafana的JMeter实时性能测试数据的监控和展示

基于InfluxDB&Grafana的JMeter实时性能测试数据的监控和展示

性能测试五十:Jmeter+Influxdb+Grafana实时数据展示系统搭建