Nginx 日志分析及性能排查

Nginx 日志分析及性能排查

2017-03-04  Linux爱好者

（点击上方公众号，可快速关注）

 

做者：-外星人-

my.oschina.net/362228416/blog/844713

若有好文章投稿，请点击 → 这里了解详情

 

最近一直在作性能排查，思路就是根据分析Nginx日志，获得响应耗时的url、以及请求时间，再获得这段时间的请求量，并发量，分析是并发的缘由，仍是自己就比较慢，若是是应用自己的缘由，只须要找到对应的代码，而后进行优化就行了

 

我找到的几个缘由，基本就是后端sql运行的比较多，单次访问看不出来，可是人比较多的时候就比较慢了，人少的时候20-200毫秒，人多的时候，200-6000毫秒，优化以后基本保持在几十毫秒，优化策略就是减小没必要要的sql，加上缓存，基本解决了卡顿的问题，顺便把此次用的一系列命令记录下来，当个总结吧

 

若是须要获得请求处理的时间，须要在nginx log 里面加上$request_time，下面是个人log_format

 

nginx.conf

 

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                              '$status $body_bytes_sent $request_body "$http_referer" '

                              '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

 

修改以后重启nginx，查看nginx log的时候，就能看到nginx处理请求所花的时间了，这个时间基本就是后端所花的时间，因此能够根据这个字段来获得响应慢的请求

 

如下是就是我用到的一些命令了

 

获取pv数

 

$ cat /usr/local/nginx/logs/access.log | wc -l

 

获取ip数

 

$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l

 

获取最耗时的请求时间、url、耗时，前10名, 能够修改后面的数字获取更多，不加则获取所有

 

$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

 

获取某一时刻的请求数量，能够把秒去掉获得分钟的数据，把分钟去掉获得小时的数据，以此类推

 

$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

 

获取每分钟的请求数量，输出成csv文件，而后用excel打开，能够生成柱状图

 

$ cat /usr/local/class/logs/access.log  | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv

 

 

上面的图是用excel生成的，也能够用命令行工具gnuplot生成png，我也试了一下，没什么问题，直接以编程的形式获得报表，去掉人工操做部分，很方便，可是有一点就是x轴数据比较多的时候，不能像excel同样自动稀释数据，因此我仍是喜欢用excel来生成

 

其实用来用去也就是那么几个命令:

 

cat：输入文件内容

 

grep：过滤文本

 

'sort'：排序

 

'uniq'：去重

 

'awk'：文本处理

 

命令组合使用，单个命令可使用屡次，来达到多重过滤的效果，前面一个命令的输出就是后一个命令的输入，流式处理，只要学会这个命令，有多看似复杂的东西，都变得异常简单。

 

上面介绍的都是命令，下面再介绍一个直接输出html的，其实就是利用go-access来分析nginx日志

 

cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess   --time-format='%H:%M:%S'   --date-format='%d/%b/%Y'   --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html

 

 

go-access是以docker容器的形式运行的，只要你安装了docker，就能直接运行，免安装很方便

 

以上脚本，配合日志天天的日志分割，而后在crontab里面配置一下自动运行脚本，可生成每一天的nginx报表，网站状况一幕了然，固然这里也有缺点，由于不实时

 

想要统计实时数据，可使用ngxtop 来查看，安装起来也很简单

 

$ pip install ngxtop

 

运行的话，先进到nginx目录，而后再运行，-c 指定配置文件，-t 刷新频率，单位为秒

 

$ cd /usr/local/nginx

$ ngxtop -c conf/nginx.conf -t 1

 

可是这种实时的方式，还须要ssh远程登陆，不太方便，还可使用lua来进行实时统计，而后写一个界面把数据展现出来，经过lua-nginx-module，nginx/tengine 均可以用，若是直接安装openresty的话，就方便了，内嵌了lua，不须要从新编译nginx了

 

以上～～～

 

 

利用grep 过滤日志的条数

　　grep “myname”  www.shop.com.log | wc -l 

　　说明：查询包含myname 的日志条数