性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

时间  2019-11-30
标签 性能 工具 jmeter+influxdb+grafana jmeter influxdb grafana 打造 可视化 实时 监控 栏目 系统性能 繁體版
原文   原文链接

概述

本文咱们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。html

引言

咱们不少时候在使用JMeter作性能测试，咱们很难及时察看压测过程当中应用的性能情况，老是须要等到测试完成后去看Report，若是是长时间压测，好比压测1~2天，那就更烦人了。sql

 

压测的时候，咱们实时经过监听器 GenerateSummaryResults汇总输出，能够看到以下内容shell

 

 

GenerateSummaryResults汇总展现了压测中须要关注的大量信息，其中包括：Avg (Average), Min (Minimum) 、Max (Maximum)响应时间，TPS，错误率，活跃线程数等, jmeter.properties默认是30秒的统计频率，若是咱们想使用小于30秒更细颗粒度的统计频率的时候，那么在控制台会有大量的输出，这个时候咱们就很差观察结果了。数据库

# jmeter.properties 
# Define the following property to automatically start a summariser with that name
# (applies to non-GUI mode only)
# summariser.name=summary
#
# interval between summaries (in seconds) default 3 minutes
# summariser.interval=30
#
# Write messages to log file
# summariser.log=true
#
# Write messages to System.out
# summariser.out=true

另外一方面，若是须要分享给其它人员，这种控制台输出方式并非一个很友好的方式，咱们须要一个简单漂亮的图形，好比HTML Dashboard，但须要等待整个测试完成。浏览器

所以，咱们能够在测试计划中去除GenerateSummaryResults，把测试结果发送到数据库中持久化，这样咱们就能够经过SQL查询数据库来建立展现图表。服务器

从JMeter2.13开始，经过提供实现AbstractBackendListenerClient的类，可使用（JDBC，JMS，Webservice，…）经过Backend Listener发送到数据库的存储实时结果。网络

BackendListenerGraphiteBackendListenerClient，容许将统计指标发送到Graphite
此功能提供：app

实时数据
漂亮图表
可以对比2个以上的测试计划
只要JMeter产生相同的Backend，就能够存储监控数据
…
JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDBtcp

此功能提供：编辑器

实时数据
漂亮图表
可以对比2个以上的测试计划
可以向图表添加注释
只要JMeter产生相同的Backend，就能够存储监控数据
…

解决方案

JMeter引入Backend Listener，用于在压测过程当中实时发送统计指标数据给时序数据库Influxdb,经过配置Grafana(开源的WEB可视化看板)数据源链接到Influxdb，咱们就能够建立炫酷的可视化看板，并能够实时获取到测试指标数据。
解决方案

相关介绍：

时序数据库：处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。想象它就像一个sql表，其中时间是它的主键
InfluxDB：是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库如今主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。

官网地址：https://www.influxdata.com/
数据DEMO

> select* from weather
name: weather
-------------
time                    altitude        area    humidity        temperature
1456386985094000000     1000            北      18              17
1456386985094000000     5000            上      20              47
1456386985094000000     5000            北      26              68
1456386985094000000     1000            广      17              83
1456387267668000000     1000            上      12              77
1456387267668000000     1000            北      16              20
1456387267668000000     5000            广      -3              66
1456387267668000000     5000            上      19              60

与传统数据库中的名词作比较

 influxDB中的名词 传统数据库中的概念

 Point由时间戳（time）、数据（field）、标签（tags）组成。

 

JMeter&InfluxDB集成

InfluxDB安装

安装要求

网络端口

InfluxDB默认使用如下网络端口：

  • TCP端口8086用于经过InfluxDB的HTTP API进行客户端-服务器通讯
  • TCP端口8088用于RPC服务以进行备份和还原
  • 除了上面的端口，InfluxDB还提供了多个可能须要自定义端口的插件。能够经过配置文件修改全部端口映射，配置文件位于/etc/influxdb/influxdb.conf默认位置。

网络时间协议（NTP）

InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议（NTP）同步主机之间的时间; 若是主机的时钟与NTP不一样步，写入InfluxDB的数据的时间戳可能不许确。

下载安装

wget et https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
sudo yum localinstall influxdb-1.6.2.x86_86_64.rpm

InfluxDB配置

找到InfluxDB配置文件（/etc/influxdb/influxdb.conf）

vi /etc/influxdb/influxdb.conf

influxdb.conf中的大多数设置都被注释掉了;全部注释掉的设置将肯定为内部默认值。若是配置文件中的任何未注释的设置都会覆盖内部默认值。
请注意，本地配置文件不须要包含每一个配置设置。
若是你没法找到配置文件，可使用InfluxDB显示配置命令

Influxd config

Jmeter使用graphite协议去写入数据到InfluxDB，所以，须要在InfluxDB配置文件启用它，以下图所示：

[[graphite]]
 enabled = true
 bind-address = ":2003"
 database = "jmeter"
 retention-policy = ""
 protocol = "tcp"
 batch-size = 5000
 batch-pending = 10
 batch-timeout = "1s"
 consistency-level = "one"
 separator = "."
 udp-read-buffer = 0

 

修改后，使用如下命令加载InfluxDB启动

有两种方法可使用配置文件启动InfluxDB：
1.使用如下-config选项将进程指向正确的配置文件

influxd -config /etc/influxdb/influxdb.conf

2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动

echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd

InfluxDB操做

[root@zuozewei ~]# influx  #登陆数据库
Connected to http://localhost:8086 version 1.6.2
InfluxDB shell version: 1.6.2
> show databases  #查看全部数据库
name: databases
name
----
_internal
> CREATE DATABASE "jmeter" #建立数据库
> use jmeter               #切换数据库
Using database jmeter
> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 建立管理员权限的用户

JMeter配置

  1. 建立一个测试计划，并添加Backend Listener
  2. 设置InfluxDB IP及端口设置InfluxDB IP及端口
  3. 运行测试，等待几秒运行测试，等待几秒
  4. 查看JMeter是否生成错误日志查看JMeter是否生成错误日志

 

端口说明：

  • 8086端口，Grafana用来从数据库取数据的端口
  • 2003端口，JMeter往数据库发数据的端口

查看JMeter数据库下全部的表

> show measurements
name: measurements
name
----
delta
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.count
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT
total

OK，咱们已经能够将统计指标数据成功发送到InfluxDB

Grafana&InfluxDB集成

什么是Grafana？

Grafana是一个开源软件，拥有丰富的指标仪表盘和图形编辑器，适用Graphite, Elasticsearch, OpenTSDB, Prometheus，InfluxDB。简单点说就是一套开源WEB可视化平台。

官网地址：https://grafana.com/

安装启动

下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm 
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm

启动

service grafana-server start
Starting grafana-server (via systemctl): [ OK ]

使用浏览器打开 http://IP:3000/login，访问Grafana主页

 


建立InfluxDB数据源

单击save&test，确保能够链接上InfluxDB

 

建立dashboard

 

添加Graph面板

 

数据绑定

 

线程数/用户相关指标

test.minAT-Min active threads：最小活跃线程数
test.maxAT-Max active threads：最大活跃线程数
test.meanAT-Mean active threads：活跃线程数
test.startedT-Started threads：启动线程数
test.endedT-Finished threads：结束线程数

响应时间指标

.ok.count：采样器的成功响应数
.h.count：每秒点击数
.ok.min：采样器成功最短响应时间
.ok.max：采样器成功最长响应时间
.ok.avg：采样器成功平均响应时间
.ok.pct：采样器成功响应百分比
.ko.count：采样器失败响应数
.ko.min：采样器失败的响应最短期
.ko.max：采样称失败最长响应时间
.ko.avg：采样器失败平均响应时间
.ko.pct：采样器失败响应百分比
.a.count：采样器响应数（ok.count和ko.count的总和）
.a.min：采样器最小响应时间（ok.count和ko.count的最小值）
.a.max：采样器最大响应时间（ok.count和ko.count的最大值）
.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）
.a.pct：采样器响应百分比（根据和失败样本的总数计算）

 

Backend Listener的默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％。
Graphite使用点（“.”）去拆分的元素，这可能与十进制百分位值混淆。JMeter转换任何此类值，用下划线（“ - ”）替换点（“.”）。例如，“99.9 ”变为“99_9 ”
默认状况下，JMeter发送在samplerName“all”下累计的全部采样器的指标。 若是配置了 BackendListenerSamplersList，那么JMeter还会发送匹配样本名称的指标，前提是配置 summaryOnly=true

 

压测中的效果

 

导入Dashboard模版

若是让你们去设计一个好看的Dashboard，估计你们都不太想从零开始本身设计，其实Grafana官网提供丰富的模版的库，你们能够本身上去找，而后进行二次扩展。

官网模版库：https://grafana.com/dashboards

搜索看板模版

此处，我选择下载这个下载量3000+的模版

下模版JSON文件

导入模版

 

选择数据源

JMeter Backend Listener设置

压测期间的动画效果

 

至此，我初步打造的压测可视化实时监控大功告成~😄

 

原文连接：https://blog.csdn.net/zuozewei/article/details/82911173#Dashboard_265

 

参考文章：

https://www.cnblogs.com/Leo_wl/p/8439796.html

http://www.cnblogs.com/imyalost/p/9873648.html

https://blog.csdn.net/wudufeng/article/details/78567866

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程