【2018.07.17学习笔记】【linux高级知识 20.20-20.22】

20.20 告警系统主脚本

咱们把整个脚本的目录mon放在/usr/local/sbin/ 目录下

编写主脚本：/mon/bin/main.sh

#!/bin/bash  
export send=1   //shell环境变量，是否发送邮件的开关
export addr=`/sbin/ifconfig |grep -A1 "ens33: "|awk '/inet/ {print $2}'` //把监控的机器的ip地址过滤出来
dir=`pwd`  //获取当前脚本的目录，保证后面可以找到配置文件和子脚本
last_dir=`echo $dir|awk -F'/' '{print $NF}'`  //只须要最后一级目录名
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]  //判断目的是保证执行脚本的时候，咱们在bin目录里，否则监控脚本、邮件和日志颇有可能找不到
then
    conf_file="../conf/mon.conf"   //配置文件的路径
else
    echo "you shoud cd bin dir"   
    exit
fi
exec 1>>../log/mon.log 2>>../log/err.log  //记录监控主脚本运行的输出和错误信息到文件
echo "`date +"%F %T"` load average"
/bin/bash ../shares/load.sh    //执行负载监控子脚本
if grep -q 'to_mon_502=1' $conf_file  //先检查配置文件中是否须要监控502
then
    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'` //过滤web的访问日志的路径给环境变量log
    /bin/bash  ../shares/502.sh   //执行502监控子脚本
fi

20.21 告警系统配置文件

配置文件路径在： /mon/conf/mon.conf

##mon.conf
// to config the options if to monitor
// 定义mysql的服务器地址、端口以及user、password
to_mon_cdb=0  //0 or 1, default 0,0 not monitor, 1 monitor 是否监控mysql
db_ip=10.20.3.13 

db_port=3315
db_user=username
db_pass=passwd

to_mon_httpd=0  // httpd  若是是1则监控，为0不监控

to_mon_php_socket=0  // php 若是是1则监控，为0不监控

to_mon_502=1   // http_code_502  
logfile=/data/log/xxx.xxx.com/access.log  //须要定义访问日志的路径

to_mon_request_count=0  //request_count数监控  
req_log=/data/log/www.discuz.net/access.log  //定义访问日志路径以及域名
domainname=www.discuz.net

20.22 告警系统监控项目

系统负载的子脚本：/mon/shares/load.sh

#! /bin/bash
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`  //过滤系统一分钟的负载
if [ $load -gt 10 ] && [ $send -eq "1" ]  //负载大于10，发送邮件
then
    echo "$addr `date +%T` load is $load" >../log/load.tmp  //记录负载的数值到文件
    /bin/bash ../mail/mail.sh xxx@163.com "$addr\_load:$load" `cat ../log/load.tmp`  //发送邮件动做：三个参数：收件人、主题、邮件内容
fi
echo "`date +%T` load is $load"

web服务状态码502的监控脚本：/mon/shares/502.sh

#! /bin/bash 502.sh 
d=`date -d "-1 min" +%H:%M`  //记录上一分钟的时间
c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`  //统计上一分钟，502状态码出现的次数
if [ $c_502 -gt 10 ] && [ $send == 1 ]  //一分钟出现大于10次
then 
     echo "$addr $d 502 count is $c_502">../log/502.tmp  //记录502次数写进文件保存
     /bin/bash ../mail/mail.sh xxx@163.com "$addr\_502 $c_502"  `cat ../log/502.tmp`  //发送邮件动做
fi
echo "`date +%T` 502 $c_502"

磁盘空间的子脚本：/mon/shares/disk.sh

#! /bin/bash
rm -f ../log/disk.tmp  //删除上一次的告警记录文件
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`  //循环匹配各个分区的磁盘使用率
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]  //若是超过90%则告警，发邮件
    then
       echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp  //超过90%的告警信息写进记录文件
    fi
    if [ -f ../log/disk.tmp ] //若是告警记录文件存在
    then
       df -h >> ../log/disk.tmp //把全部分区信息也写入记录文件
       /bin/bash ../mail/mail.sh xxx@163.com "$addr\_disk $r" `cat ../log/disk.tmp`  //发邮件动做
       echo "`date +%T` disk useage is No ok"
    else
       echo "`date +%T` disk useage is ok"
    fi
done