性能测试监控：Jmeter +InfluxDB +collectd +Grafana（十六）

时间  2020-05-23
标签 性能 测试 监控 jmeter influxdb collectd grafana 十六 栏目 系统性能 繁體版
原文   原文链接 
虚拟机ip 192.168.180.128

　　

Influxdb

Influxdb是一个开源的分布式时序、时间和指标数据库，使用go语言编写，无需外部依赖。
它有三大特性：
  1. 时序性（Time Series）：与时间相关的函数的灵活使用（诸如最大、最小、求和等）；
  2. 度量（Metrics）：对实时大量数据进行计算；
  3. 事件（Event）：支持任意的事件数据，换句话说，任意事件的数据咱们均可以作操做。
同时，它有如下几大特色：
  1. schemaless(无结构)，能够是任意数量的列；
  2. min, max, sum, count, mean, median 一系列函数，方便统计；
  3. Native HTTP API, 内置http支持，使用http读写；
  4. Powerful Query Language 相似sql；
  5. Built-in Explorer 自带管理工具。

Influxdb安装

官方安装文档：https://docs.influxdata.com/influxdb/v1.4/introduction/installation/html

官网：https://portal.influxdata.com/downloadspython

在讲解具体的安装步骤以前，先说说influxdb的两个http端口：8083和8086
 
 
 
 
  • port 8083：管理页面端口，访问localhost:8083能够进入你本机的influxdb管理页面；
  • port 8086：http链接influxdb client端口，通常使用该端口往本机的influxdb读写数据。
 
    
   
1. 安装InfluxDB（方式一，官方文档安装方式）
 
   
 
    
   
新建InfluxDB下载源
 
   
输入  cat << EOF | tee /etc/yum.repos.d/influxdb.repoweb
 
   
 
    [influxdb] 
   
 
   
 
    name = InfluxDB Repository - RHEL \$releasever 
   
 
   
 
    baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable 
   
 
   
 
    enabled = 1 
   
 
   
 
    gpgcheck = 1 
   
 
   
 
    gpgkey = https://repos.influxdata.com/influxdb.key 
   
 
   
 
    EOF 
   
 
   

 
  
 
  
 
   
使用yum下载InfluxDB

yum install -y influxdb
 
    
   
 
  
 
  
 
    
   
2. 安装InfluxDB（方式二）
 
   
下载rpm包正则表达式
 
   
wget https://s3.amazonaws.com/influxdb/influxdb-race-nightly-1.x86_64.rpmsql
 
   
 
   

      安装好以后 解压 
   
 
   

     [root@Lamw usr]# rpm -ivh influxdb-race-nightly-1.x86_64.rpm 
   
 
   

     若是提示 
   
 
   

     chown: cannot access `/var/lib/influxdb': No such file ordirectory 
    
chown: cannot access `/var/log/influxdb': No such file ordirectory 
   
 
   

     就先创建目录而后再安装 
   
 
   

     [root@Lamw usr]#  mkdir -p /var/lib/influxdb 
   
 
   

     [root@Lamw usr]#  mkdir -p /var/log/influxdb 
   
 
   

       
     查看rpm -qa|grep influxdb     安装成功与否  
   
 
   
 
     
    

       而后  rpm -ql influxdb-1.4.2-1.x86_64 查看安装路径  
    
 
    
 
      
     
 
 
    
 
   
 
   

      这边由于 按照网上教程说的/etc/init.d/influxdb start  启动  小七这边 没有init.d这个目录（貌似是由于官方1.4版本的移除了web页面）     可忽略这句 
   
 
   

     因此按照上面的方式找到了启动路径 
   
 
   
 
    

       发现  /usr/lib/influxdb/scripts/influxdb.service   这里有个启动路径 
     
而后进入到 scripts 目录下  cat 查看这个启动文件 
    
 
    
 
      
     
 执行启动命令 /usr/bin/influxd -config /etc/influxdb/influxdb.conf $INFLUXD_OPTS       (2019-09-05再次安装后发现，先执行下面第三步的“修改配置”，再启动。便可成功访问)数据库
 
     
 
      
     
打开浏览器，访问虚拟机IP“http://192.168.180.128:8086/”
 
     
启动成功以后 会发现 访问的时候 提示 404 page not found 不用着急 由于只部署一个influxdb是没法在web页面监控到的（官方1.2以上都移除了web页面监控）apache
 
     
 
     
能够经过检查端口查看是否启动成功浏览器
 
     
[root@Lamw scripts]#  netstat -tlnpu |grep influxdapp
 
     
 
     
若是还出现访问不了的状况，能够检查下防火墙是否关闭。如未关闭，关闭防火墙以后 再尝试。less
 
    
 
   
 
  
 
  
　　
 
   
  
3. 修改配置
 
   
  
修改InfluxDB的配置，主要配置jmeter存储的数据库与端口号，还有须要将UI端口开放，   找到 [http] 、 [[graphite]]节点，enabled改成true（默认是开启的），bind-address修改绑定的IP和端口：
 
  
 
   
[root@Lamw ~]# vi /etc/influxdb/influxdb.conf
 
    
   
# 找到graphite而且修改它的库与端口
[[graphite]]
  enabled = true
  database = "jmeter"
  bind-address = ":2003"
  protocol = "tcp"
  consistency-level = "one"
原图：
 
    
   
修改以下：
 
    
   
 
   
 
   
 # [http]
 
   
       #Determines whether HTTP endpoint is enabled.
 
   
       enabled= true      
 
   
       # The bindaddress used by the HTTP service.
 
   
       bind-address= ":8086"          此处配置的IP和端口供grafana链接使用
 
    
   
 
   
修改后
 
    
   
# 找到admin，将前面的#号去掉，开放它的UI端口
[admin]
  # Determines whether the admin service is enabled.
  enabled = true

  # The default bind address used by the admin service.
  bind-address = ":8083"

  # Whether the admin service should use HTTPS.
  # https-enabled = false

  # The SSL certificate used when HTTPS is enabled.
  # https-certificate = "/etc/ssl/influxdb.pem
 
  
 
  
　　
 
  
配置完了以后：
 
   
  
启动InfluxDB
 
  
[root@localhost ~]# influx
 
  
 
 
  
查看数据库
 
  
show databases
 
  
建立数据库
 
  
create database "jmeter"
 
  
建立influxdb数据库，数据库名称是jmeter
 
  
切换数据库
 
  
use jmeter
 
  
 
 
  
 
  
上面的 show database报错是由于打错了了， 应该是show databases
 
  
 
  
 
 
  
 
 
  
 
 
  
 
 
  
 
 
   
  
4. 安装collectd(无关紧要，小七装了以后没启用)
 
  
# yum install epel-release -y
# yum install -y collectd
 
  
 
  
 
  
 
  
 
  
启动collectd：
 
  
# service collectd start # service collectd status
 
   
  
5. 安装Grafana
 
   
  
使用yum下载Grafana而且安装
 
  
 
   
yum install https://grafanarel.s3.amazonaws.com/builds/grafana-3.0.1-1.x86_64.rpm



 
   
 
    
2019-09-05 更新的最新下载地址 wget https://dl.grafana.com/oss/release/grafana-6.3.5-1.x86_64.rpm
Grafana 官网 https://grafana.com/grafana/download

下载后的安装
一、运行 rpm -ivh grafana-6.3.5-1.x86_64.rpm
报错：warning: grafana-6.3.5-1.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 24098cb6: NOKEY
error: Failed dependencies:
	urw-fonts is needed by grafana-6.3.5-1.x86_64
 
     
    
 
 
    
 
 
    
二、执行 yum install -y urw-fonts
三、再进行第一步的运行rpm -ivh grafana-6.3.5-1.x86_64.rpm

四、而后启动便可/etc/init.d/grafana-server restart
 
     
    
 
 
    
 
 
   
 
   
　　
 
  
 
  
　　
 
  
 
  
 
  
 
 
   
  
启动Grafana
 
  
 
   
[root@Lamw usr]# /etc/init.d/grafana-server restart
 
  
 
  
　　
 
  
 
   
  
打开浏览器，访问虚拟机IP“http://192.168.180.128:3000”
 
  
 
   
  
输入用户名，密码登陆系统。用户名与密码都是"admin"
 
  
 
   
  
添加须要展现数据的数据库（配置InfluxDB ）
 
   
  
添加InfluxDB数据库配置。输入账号密码“admin / admin”，点击“add”添加以后点击“Test & Save” 提示“Success”说明成功了
 
  
 
   
PS：2019-09-05更新内Grafana的版本更新后，部份内容更新了 以下图
 
  
 
  
　　
 
  
 
  
 
 
  
 
 
  
【注意】URL的端口是8086，而刚才配置的8083是UI的端口。
 
  
    - 8083端口是InfluxDB的UI界面展现的端口
 
  
    - 8086端口是Grafana用来从数据库取数据的端口
 
  
    - 2003端口则是刚刚设置的，Jmeter往数据库发数据的端口
 
  
 
  
 
  
 
  
 
 
  
 
 
   
  
6. 下面来配置JMeter
 
  
 
   
1. jmeter中，添加“监听器 -> Backend Listener”
 
  
 
  
　　
 
  
 
 
  
 
 
  
顺便添加个http请求
 
  
 
  
能正常跑通以后，便可在Grafana中查看到数据，下面来配置Grafana从数据库中读取数据来展现
 
   
  
7. 配置Grafana
 
  
 
  
 
    
   
添加一个展现项目
 
    
   
点击“Home -> New”
 
  
 
  
　　
 
  
 
 
  
 
 
  
 
    
   
添加一个图表
 
    
   
点击旁边的绿点“Add Panel -> Graph”
 
  
 
  
　　
 
  
 
  
 
    
   
配置图表
 
    
   
配置好了，就能看到图了。若是看不到图，请用Jmeter多发几回请求。下图中选择监控的选项，能够在Jmeter的官网上查看到对应的解释。
 
  
 
  
　　
 
  
 
  
 
  
 
    
   
点击Edit设置须要展现的数据 好比 tps 线程数  rt cpu ......等等
 
  
 
  
　　
 
  
 
  
 
 
  
 
 
  
 
    
    
 
     名称 
     描述 
    
 
    
 
     jmeter.all.h.count 
     全部请求的TPS 
    
 
    
 
     jmeter.<请求名称>.h.count 
     对应<请求名称>的TPS 
    
 
    
 
     jmeter.all.ok.pct99 
     99%的请求响应时间 
    
 
    
 
     jmeter.<请求名称>.ok.pct99 
     对应<请求名称>99%的请求响应时间 
    
 
    
 
     jmeter.all.test.startedT 
     线程数

 
    
 
    
  
 
  
 
 
  
 
 
  
【注意】若是要监控<请求名称>的话，Jmeter上的“Backend Listener”修改以下参数
 
  
1. 将“summanyOnly”修改为False，
 
  
2. 将“userRegexpForSamplersList”修改为True，
 
  
3. 而且要设置“samplersList”的值，“samplersList”是能够支持正则表达式的，“samplersList”的设置要与请求对应，不然找不到该请求。如图
 
  
 
  
设置好了，运行一下，在Grafana里面，就能够看到本身的请求了
 
  
 
  
 
 
  
 Jmeter的官网地址去查看阅读“http://jmeter.apache.org/usermanual/realtime-results.html” 详细了解更多监控信息
 
  
 
 
  
 
  
Graph里面的选项有：
 
  
    General（常规选择）、Metrics（指标）、Axes（坐标轴）、Legend（图例）、 Display（显示样式）、Time range（时间范围）
 
  
Genera（常规选择）：添加图形标题，图形宽度高度等
 
  
    Title：仪表板上的面板标题
 
  
    Span：列在面板中的宽度
 
  
    Height：面板内容高度(以像素为单位)
 
  
 
  
钻取/详细信息连接（Drilldown / detail link）
 
  
    钻取部分容许添加动态面板的连接，能够连接到其余仪表板或URL。
 
  
    每一个连接都有一个标题,一个类型和参数。连接能够是 dashboard或 absolute连接。若是它是一个仪表板连接, dashboard值必须是一个仪表板的名字。若是这是一个 absolute连接,是URL连接的URL。
 
  
    params容许添加额外的URL参数的连接。格式是 name=value与多个参数分开，当连接到另外一个仪表板使用模板变量,你可使用 var-myvar=value填充模板变量的指望值连接。
 
  
 
  
 
 
  
Metrics（指标）
 
  
    定义了来源数据的呈现，每一个数据源都提供不一样的选择。面板的来源数据经过group,host,application,item从zabbix中得到。
 
  
 
  
Axes（坐标轴）
 
  
    用于坐标轴和网格的显示方式，包括单位，比例，标签等。
 
  
Left Y和 Right Y能够定制使用，因其中的可选参数太多，请在使用的时候参考官方文档
 
  
 
  
Legend（图例）：图例展现
 
  
    图例的参数:
 
  
    Total:返回全部度量查询值的总和
 
  
    Current:返回度量查询的最后一个值
 
  
    Min:返回最小的度量查询值
 
  
    Max:返回最大的度量查询值
 
  
    Avg:返回全部度量查询的平均值
 
  
    Decimals:控制Legend值的多少，以小数显示悬浮工具提示(图)
 
  
    Grafana 中Legend值的计算取决于你使用的度量查询方式和什么样类型的聚合或合并点来实现的，全部上述所说的值在同一时间可能都是不正确的。例如，若是你是每秒请求一次,这多是使用平均值来做为一个整合,然而这个Legend值不会表明请求的总数。这只是Grafana收到的全部数据点的总和。
 
  
 
 
  
 
  
Display（显示样式）
 
  
    显示样式的控件属性图以下：
 
  
 
  
图表模式(Draw Modes)
 
  
Bar:一个条形图显示值
 
  
Lines:显示线图值
 
  
 Points:显示点值
 
  
选择模式（Mode Options）
 
  
Fill:系列的颜色填充,0是没有。
 
  
Line Width:线的宽度。
 
  
 Staircase:楼梯状显示。
 
  
    若是有多个选择项,它们能够做为一个群体显示。
 
  
叠加和空值（Stacking & Null value）
 
  
Stack：每一个系列是叠在另外一个之上
 
  
Null value：空值
 
  
    若是你启用了堆栈能够选择应该显示鼠标悬停功能。
 
  
Time range（时间范围）
 
  
 
 
  
 
  
更多Grafana功能请查阅官方文档....https://grafana.com/grafana
 
  
 
 
  
 
 
  
2019-09-06补充更新
 
  
最近 从新部署这套面板，发现更新了挺多内容
 
  
https://grafana.com/grafana/dashboards?search=jmeter
 
  
 目前界内不少大佬都有上传本身研发的一套监控体系，看以从仪表盘下载对应的需求的仪表盘进行监控，同时能够从中优化 添加时候本身工做业务须要的监控
 
  
 
  
 
 
  
这里有一点须要注意的，若是须要执行的是NON-GUI模式的性能压测，命令执行以后，在Grafana没法获取压测结果数据
 
  
 
  
 
 
  
 因此须要在jmeter下载一个插件 （下图中的也是依赖插件）
 
  
连接: https://pan.baidu.com/s/1U387s1d-BoMvfh1IjSK_2g 提取码: xsiw 
 
  
 
  
 
 
  
 
 
  
直接到 Available Plugins去搜索下载，由于我这里下载了 因此高亮显示在 INstalled Plugins
 
  
若是下载比较慢的 也能够经过网盘下载
 
  
连接: https://pan.baidu.com/s/1QKpEbEbSai5lKriXPN8TBw 提取码: ts36 
 
  
 
 
  
上面2个插件下载后，直接放到 jmeter路径下的\lib\ext 目录下便可 重启jmeter便可使用
 
  
 
  
 
 
  
 
 
  
 
 
  
 
  
 
 
  
 装好以后，执行命令压测..后续问题还在调试中
 
 
 



        

            

        	





    

		

            
相关文章

            

                

                

                    

                

            


            
相关标签/搜索

            
        


    

        

            

        

        

        
        

        

        

    




	

    





    

    	

    

        每日一句
    

    
    
    	每一个你不满意的现在，都有一个你没有努力的曾经。
    







    

    


    



    

        本站公众号
    

    

           欢迎关注本站公众号,获取更多信息

        
    




    

    




	


	







    

        联系我们
        最近搜索
        最新文章
        
        沪ICP备13005482号-10

            MyBatis教程
            SQL 教程
            MySQL教程
            Java 教程
            Thymeleaf 教程
            Hibernate教程
            Spring教程 
            Redis教程