性能工具之 JMeter+InfluxDB+Grafana 打造压测可视化实时监控

概述

引言

解决方案

Jmeter&InfluxDB集成

InfluxDB安装

安装要求

概述

引言

解决方案

JMeter&InfluxDB集成

InfluxDB安装

安装要求

下载安装

InfluxDB配置

JMeter配置

Grafana&InfluxDB集成

安装启动

导入Dashboard模版

概述

本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。

引言

我们很多时候在使用JMeter做性能测试，我们很难及时察看压测过程中应用的性能状况，总是需要等到测试完成后去看Report，如果是长时间压测，比如压测1~2天，那就更烦人了。

压测的时候，我们实时通过- GenerateSummaryResults汇总输出，可以看到如下内容

GenerateSummaryResults汇总展示了压测中需要关注的大量信息，其中包括：Avg (Average), Min (Minimum) 、Max (Maximum)响应时间，TPS，错误率，活跃线程数等, jmeter.properties默认是30秒的统计频率，如果我们想使用小于30秒更细颗粒度的统计频率的时候，那么在控制台会有大量的输出，这个时候我们就不好观察结果了。

# jmeter.properties # Define the following property to automatically start a summariser with that name # (applies to non-GUI mode only) # summariser.name=summary # # interval between summaries (in seconds) default 3 minutes # summariser.interval=30 # # Write messages to log file # summariser.log=true # # Write messages to System.out # summariser.out=true

另一方面，如果需要分享给其它人员，这种控制台输出方式并不是一个很友好的方式，我们需要一个简单漂亮的图形，比如HTML Dashboard，但需要等待整个测试完成。

因此，我们可以在测试计划中去除GenerateSummaryResults，把测试结果发送到数据库中持久化，这样我们就可以通过SQL查询数据库来创建展示图表。

从JMeter2.13开始，通过提供实现AbstractBackendListenerClient的类，可以使用（JDBC，JMS，Webservice，…）通过Backend Listener发送到数据库的存储实时结果。

BackendListenerGraphiteBackendListenerClient，允许将统计指标发送到Graphite

此功能提供：

实时数据

漂亮图表

能够对比2个以上的测试计划

只要JMeter产生相同的Backend，就可以存储监控数据

…

JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDB

此功能提供：

实时数据

漂亮图表

能够对比2个以上的测试计划

能够向图表添加注释

只要JMeter产生相同的Backend，就可以存储监控数据

…

解决方案

JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb，我们就可以创建炫酷的可视化看板，并可以实时获取到测试指标数据。

相关介绍：

时序数据库：处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。想象它就像一个sql表，其中时间是它的主键

InfluxDB：是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。

官网地址：https://www.influxdata.com/

数据DEMO

> select* from weather name: weather ------------- time altitude area humidity temperature 1456386985094000000 1000 北 18 17 1456386985094000000 5000 上 20 47 1456386985094000000 5000 北 26 68 1456386985094000000 1000 广 17 83 1456387267668000000 1000 上 12 77 1456387267668000000 1000 北 16 20 1456387267668000000 5000 广 -3 66 1456387267668000000 5000 上 19 60

与传统数据库中的名词做比较

InfluxDB中独有的一些概念

Point由时间戳（time）、数据（field）、标签（tags）组成。

JMeter&InfluxDB集成

InfluxDB安装

网络端口

InfluxDB默认使用以下网络端口：

TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信

TCP端口8088用于RPC服务以进行备份和还原

除了上面的端口，InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射，配置文件位于/etc/influxdb/influxdb.conf默认位置。

网络时间协议（NTP）

InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议（NTP）同步主机之间的时间; 如果主机的时钟与NTP不同步，写入InfluxDB的数据的时间戳可能不准确。

下载安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm sudo yum localinstall influxdb-1.6.2.x86_64.rpm

InfluxDB配置

找到InfluxDB配置文件（/etc/influxdb/influxdb.conf）

vi /etc/influxdb/influxdb.conf

influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。

请注意，本地配置文件不需要包含每个配置设置。

如果你无法找到配置文件，可以使用InfluxDB显示配置命令

Influxd config

Jmeter使用graphite协议去写入数据到InfluxDB，因此，需要在InfluxDB配置文件启用它，如下图所示：

[[graphite]] enabled = true bind-address = ":2003" database = "jmeter" retention-policy = "" protocol = "tcp" batch-size = 5000 batch-pending = 10 batch-timeout = "1s" consistency-level = "one" separator = "." udp-read-buffer = 0

修改后，使用以下命令加载InfluxDB启动

有两种方法可以使用配置文件启动InfluxDB：

1.使用以下-config选项将进程指向正确的配置文件

influxd -config /etc/influxdb/influxdb.conf

2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动

echo $INFLUXDB_CONFIG_PATH /etc/influxdb/influxdb.conf influxd

InfluxDB操作

[root@zuozewei ~]# influx #登录数据库 Connected to http://localhost:8086 version 1.6.2 InfluxDB shell version: 1.6.2 > show databases #查看所有数据库 name: databases name ---- _internal > CREATE DATABASE "jmeter" #创建数据库 > use jmeter #切换数据库 Using database jmeter > CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户

JMeter配置

创建一个测试计划，并添加Backend Listener

设置InfluxDB IP及端口设置InfluxDB IP及端口

运行测试，等待几秒运行测试，等待几秒

查看JMeter是否生成错误日志查看JMeter是否生成错误日志

端口说明：

8086端口，Grafana用来从数据库取数据的端口

2003端口，JMeter往数据库发数据的端口

查看JMeter数据库下所有的表

> show measurements name: measurements name ---- delta jmeter.all.a.avg jmeter.all.a.count jmeter.all.a.max jmeter.all.a.min jmeter.all.a.pct90 jmeter.all.a.pct95 jmeter.all.a.pct99 jmeter.all.h.count jmeter.all.ko.count jmeter.all.ok.avg jmeter.all.ok.count jmeter.all.ok.max jmeter.all.ok.min jmeter.all.ok.pct90 jmeter.all.ok.pct95 jmeter.all.ok.pct99 jmeter.test.endedT jmeter.test.maxAT jmeter.test.meanAT jmeter.test.minAT jmeter.test.startedT total

OK，我们已经可以将统计指标数据成功发送到InfluxDB

Grafana&InfluxDB集成

什么是Grafana？

Grafana是一个开源软件，拥有丰富的指标仪表盘和图形编辑器，适用Graphite, Elasticsearch, OpenTSDB, Prometheus，InfluxDB。简单点说就是一套开源WEB可视化平台。

官网地址：https://grafana.com/

安装启动

下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm sudo yum localinstall grafana-4.2.0-1.x86_64.rpm

启动

service grafana-server start Starting grafana-server (via systemctl): [ OK ]

使用浏览器打开 http://IP:3000/login，访问Grafana主页

创建InfluxDB数据源

单击save&test，确保可以连接上InfluxDB

创建dashboard

添加Graph面板

数据绑定

线程数/用户相关指标

test.minAT-Min active threads：最小活跃线程数

test.maxAT-Max active threads：最大活跃线程数

test.meanAT-Mean active threads：活跃线程数

test.startedT-Started threads：启动线程数

test.endedT-Finished threads：结束线程数

响应时间指标

.ok.count：采样器的成功响应数

.h.count：每秒点击数

.ok.min：采样器成功最短响应时间

.ok.max：采样器成功最长响应时间

.ok.avg：采样器成功平均响应时间

.ok.pct：采样器成功响应百分比

.ko.count：采样器失败响应数

.ko.min：采样器失败的响应最短时间

.ko.max：采样称失败最长响应时间

.ko.avg：采样器失败平均响应时间

.ko.pct：采样器失败响应百分比

.a.count：采样器响应数（ok.count和ko.count的总和）

.a.min：采样器最小响应时间（ok.count和ko.count的最小值）

.a.max：采样器最大响应时间（ok.count和ko.count的最大值）

.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）

.a.pct：采样器响应百分比（根据和失败样本的总数计算）

Backend Listener的默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％。

Graphite使用点（“.”）去拆分的元素，这可能与十进制百分位值混淆。JMeter转换任何此类值，用下划线（“ - ”）替换点（“.”）。例如，“99.9 ”变为“99_9 ”

默认情况下，JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList，那么JMeter还会发送匹配样本名称的指标，前提是配置 summaryOnly=true

压测中的效果

导入Dashboard模版

如果让大家去设计一个好看的Dashboard，估计大家都不太想从零开始自己设计，其实Grafana官网提供丰富的模版的库，大家可以自己上去找，然后进行二次扩展。

官网模版库：https://grafana.com/dashboards

搜索看板模版

此处，我选择下载这个下载量3000+的模版

下模版JSON文件

导入模版

选择数据源

JMeter Backend Listener设置

压测期间的动画效果

至此，我初步打造的压测可视化实时监控大功告成~?

云性能测试服务 CPTS 数据库 自动化测试

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。