Apache日志分析

Apache日志统计举例

加些来了解一下如何统计Apache的访问日志，通常能够用tail命令来实时查看日志文件变化，可是各类的应用系统中的日志会很是复杂，一堆长度超过你浏览极限的日志出如今你眼前时，你会以为很是无奈，怎么办呢？这时能够用grep、sed、awk和sort等筛选工具帮助你解决这个问题。下面总结了几个常见分析方法。

（1）查看IP（$1表明IP）

#cataccess_log | awk '{print $1}'

（2）对IP排序

#cataccess_log | awk '{print $1}'|sort

（3）打印每一重复行出现的次数，“uniq -c”表示标记出重复数量。

#cataccess_log | awk '{print $1}'|sort|uniq -c

（4）排序并统计行数

#cataccess_log | awk '{print $1}'|sort|uniq -c|sort -rn|wc -l

（5）显示访问前10位的IP地址，便于查找攻击源

#cat access_log|awk '{print $1}'|sort|uniq-c|sort -nr|head -10

注意awk '{print$1'，它表示取日志的第一段，若是换成别的日志，其IP地址在第3段那么就要改变相应数值。

（6）显示指定时间之后的日志（$4表明时间）

#cat access_log |awk'$4>="[23/Jul/2012:01:00:01"' access_log

推荐你们在排错时，同时打开多个终端，好比在一个窗口中显示错误日志，在另外一个窗口中显示访问日志,这样就可以随时获知网站上发生的状况。

（7）找出访问量最大的IP,并封掉(对排错颇有帮助)

#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |more

9999192.168.150.179

      11 192.168.150.1

#iptables -I INPUT -s 192.168.150.179 -j DROP

#iptables -I INPUT -s 192.168.150.0/24 -j DROP

若是将上面的Shell作如下变形就能够得出访问量TOP 10

#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |head -10

(8)找出Apache日志中，下载最多的几个exe文件（下载类网站经常使用,这里以.exe扩展名举例）

[root@localhost httpd]# cataccess_log |awk '($7 ~/.exe/){print $10 "" $1 ""$4""$7}' |sort -n |uniq -c |sort -nr |head -10

    2 - 192.168.150.1[25/Jul/2012:05:46:05/test.exe

1 -192.168.150.152[25/Jul/2012:05:46:47/test.exe

 

使用以下命令：

#cat access_log |awk `($10 >10000000&& $7 ~/.exe/) {print $7}` |sort –n|uniq –c|sort –nr|head -10

这条命令通过增长一个>10000000的条件判断内容就能够显示出大于10MB的exe文件，并统计对应文件发生次数，这条命令对于网站平常分析是很是有帮助的，你们能够灵活使用。

 

 (12)用goaccess工具分析

GoAccess是一款开源、实时，运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计，若是你以为以上管道、脚本麻烦的话，请用这个工具试试吧。

Debian Linux安装：

#ape-get install goaccess

#goaccess -f /var/log/apache2/access.log

运行效果以下：

 轻按下箭头，咱们看看goaccess给咱们呈现更多的统计数据吧，细心的读者发现BW N /A 带宽怎么没统计出来？下面咱们在加一个 -b 参数试试吧，以下图所示。

注意：以上工具和技巧一样适用于Nginx、Squid的访问日志。