grafana+ prometheus+php 监控系统实践

背景

团队在开发流媒体服务，须要实现一个监控在线人数的功能，能够看到历史有多少人在线，当前有多少人在线的功能。
若是用mysql等关系型数据库来实现，能够用事件记录日志，而后经过PHP加上一些绘图的插件来实现，但这种方式并很差，首先用关系型数据库随着时间累积，会存在数据量愈来愈大，致使查询缓慢，再者须要编写这部分统计代码，所以并非最佳选择。

咱们很快找到了一个“时序性数据库”（prometheus），这种数据库会以时间节点来记录咱们要存储的数据，而后结合他的一些绘图功能，咱们彻底能够不用写绘图的逻辑，并且prometheus还提供数据收集的功能，咱们只须要把须要统计的数据按照固定的格式传递就行了。而Grafana是一个专门绘图的，支持不少种数据源，好比mysql，prometheus，es等数据库，绘图功能特别强大，所以咱们便使用了这两种软件的结合实现了一个监控功能。

实现过程

两个工具都是英文的，若是英文和我同样不怎么好，建议使用谷歌浏览器的网页翻译功能，能够节省不少时间

操做步骤：

1. 安装
2. 数据收集
3. 收集验证
4. 绘图配置
5. 完成

1、安装

1. Grafana

官方安装文档：https://grafana.com/grafana/d...

mac下安装

brew install grafana

docker安装

docker run -d --name=grafana -p 3000:3000 grafana/grafana

2. prometheus

官方安装文档：https://prometheus.io/docs/pr...

配置文件

在安装以前咱们先创建好配置文件，让安装后能够直接启动，配置文件的模板在官方文档中有，下面是我使用的配置文件，也能够直接使用，记得把配置文件的（#后面的内容删除）

---
global:         #全局配置
  scrape_interval: 5s   #5秒钟收集一次数据
  scrape_timeout: 3s    #链接超时时间
scrape_configs: #子配置
- job_name: 'media' # 任务名称为media
  scrape_interval: 3s   # 3秒钟收集一次数据
  metrics_path: "/api/v1/rrd/metrics"   # 收集数据的URI
  static_configs:   #子项配置
    - targets: ['gslb.offcncloud.com:8080'] #收集数据的目标主机以及端口

mac下安装

brew install prometheus

docker安装

（注意配置文件得咱们先建好才能运行下面的命令）

docker run -p 9090:9090 -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus

2、数据收集

1. 解惑

在第一步咱们安装prometheus的时候就创建了一个配置文件，其中有一个任务会去收集数据，主机名为(gslb.offcncloud.com:8080),URI地址为(/api/v1/rrd/metrics),所以会不断向 http://gslb.offcncloud.com:8080/api/v1/rrd/metrics 进行请求，来获取数据。

2. 数据格式

这个时候咱们须要来了解这个数据的格式是怎么样的，先来看一段我返回的数据格式。

media_network 2
media_connectNum 12 
media_on_push 2

在上面有三行数据，每条数据分别表明不一样的key => value ,中间使用空格隔开。
好比：

• 第一个media_network是表明当前的网络延时数量，
• 第二项media_connectNum则是表明当前的用户链接数，
• 第三项media_on_push 则是表明当前的推流人数。

3. 数据来源

上面的这写数据是怎么得来的呢？其实咱们的系统当中并不能直接获取到当前的数量，好比链接人数，可是咱们能够经过一些日志或者事件来进行统计，好比当有一我的播放视频，那么咱们将会在cache中给他+1，当他离线的时候咱们则会给他-1，这样即可以获得数量，咱们能够来看下下面的伪代码

事件触发计数的代码部分

<?php

    /**
     * 计数
     * @param string $name network|connectNum  要统计的名称
     * @param bool $type 上线仍是离线
     * @param bool $clean  是否每次清空
     * @return int|string
     */
    public static function count(string $name, $type = true
    {
        //定义名称
        $name = addslashes($name);
        $fileName = self::BASEDATA . $name ;

        //定义累加值
        $addNum = $type ? 1 : -1;

        //更新次数
        $num = "cat  $fileName";
        $num = intval(exec($num)) + $addNum;

        //链接数不能小于0
        $num = ($num < 0) ? 0 : $num;
        $cmd = "echo $num > $fileName";

        exec($cmd);

        return $num;
    }

prometheus来收集数据的对应代码部分

public static function getCountNum()
    {
        $control_arr = ['network', 'connectNum', 'on_push'];

        self::createDir();
        foreach ($control_arr as $path) {
            //存放临时数据文件
            $tmp_file = self::BASEDATA . $path;
            $num = exec("cat $tmp_file");
            switch ($path) {
                case 'network'://网络延时数量
                    system("echo 0 > $tmp_file");
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
                case 'connectNum'://链接数
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
                case 'on_push'://推流数
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
            }
        }
    }

在计数部分代码会根据用户是上线仍是下线来处理不一样的逻辑，好比上线数量会+1，下线则会-1

在获取数据部分，会根据不一样的类型来处理他的逻辑，好比网络延时数量，会在获取数据后清空为0，而链接数则不在这个位置进行清空

3、数据验证

1.前言

通过前面两个步骤，若是是docker安装应该已经启动了，若是是mac安装启动命令为(注意配置文件路径)：

prometheus --config.file=/tmp/prometheus.yml

2.验证收集地址正确性

当启动以后，能够打开浏览器访问以下URL地址：

http://127.0.0.1:9090/targets

如上图，上面没有绿色的说明链接地址配置成功了，此时prometheus会不断的收集数据

3.验证数据格式

接着要验证数据格式是否正确，打开URL地址

http://127.0.0.1:9090/graph?g0.range_input=1h&g0.expr=&g0.tab=0

若是能看到咱们在代码里面返回的key，便说明数据收集对接成功了

4、绘图配置

1.简介

绘图时候咱们采用Grafana来进行，所以咱们首先得启动它，若是使用docker安装时，此时应该已经启动起来了，若是是mac系统的brew安装，启动命令为

brew services start Grafana

在启动以后，咱们打开浏览器，访问URL地址为：

http://192.168.43.34:3000/

能够在界面中看到登陆框，默认的帐号以及密码为 admin admin

2.对接数据源

进来以后首先须要进行配置数据来源，数据源的配置以下图

点击保存按钮，进行保存并验证，若是没有提示异常说明已经成功了。

3.进行绘图

如今已经有数据源了，那咱们须要把这些数据展现为图表就很简单了，点击页面中很明显的+号，建立仪表盘，选择graph，以下图

接着变回出现一个图表，可是没有任何效果，因此咱们须要编辑这个走势图，以下图所示

接着下方便会出现图表的配置项，这里咱们能够选择数据源，以下图

选择数据源以后，咱们须要选择使用哪个字段，并把这个字段改成设置一个中文名称，同时这里能够设置多个字段，以下图

配置好以后必定要保存！

5、完成

查看效果

限制咱们将能够看到效果，以下图

做者：汤青松微信：songboy8888