AWStats 强大的日志分析系统

需求

在平常web服务器的运行中，记录了大量的客户机访问的信息，而如何快捷地知道此刻web服务器的访问及运行状况，如天天的访问IP数量、点击量最大的页面、每日的访问高峰时间段等信息呢？

解决方案

将经过使用强大的日志分析系统AWStats对其进行自动化的日志分析与统计工做。

AWStats介绍

AWStats是使用Perl语言开发的一款开源日志分析系统，它不只可用来分析Apache网站服务器的访问日志，也能够用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等计划任务服务，能够对不断增加的日志内容按期进行分析。

Awstats 是一个免费的、很是简洁并且强大的网站日志分析系统，它能够帮助咱们统计网站的以下信息：

• 访问量、访问次数、独特访客人数;
• 访问时间和上次访问;
• 每周的高峰时间(页数,点击率,每小时和一周的千字节);
• 域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测);
• 主机名单,最近访问和未解析的 IP 地址名单;
• 访问者看过的进出页面,档案类型;
• 网站压缩统计表(mod_gzip 或者 mod_deflate);
• 使用的操做系统 (每一个操做系统的页数,点击率 ,字节, 35 OS detected),使用的浏览器;
• 机器人访问(检测 319 个机器人);
• 蠕虫××× (5 个蠕虫家族);
• 搜索引擎，利用关键词检索找到你的地址;
• HTTP 协议错误(最近查阅没有找到的页面);
• 其余基于 URL 的个性报导,连接参数, 涉及综合行销领域目的;
• 网站被加入"最喜好的书签".次数;
• 浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader;
• 负载平衡服务器比率集群报告;

环境：

• rhel6.5操做系统
• 服务器IP地址：192.168.100.5
• rhel6.5的镜像光盘挂载至/mnt/cdrom/
• 已经部署好Apache 2.2 服务器
• AWStats 7.6.tar.gz 百度网盘 密码：zcko
• 已经作好DNS正向解析，经过www.test.com能够正常访问到该服务器(请参考:DNS域名解析服务(正向解析、反向解析、主从服务器）第一部分 正向解析部分)

目标：

为WEB站点www.test.com添加AWStates日志分析系统

部署服务：

1. 解压并安装AWStates软件包

tar zxvf awstats-7.6.tar.gz -C /opt/            //解压至/opt目录下
mv /opt/awstats-7.6 /usr/local/awstats          //移动文件至/usr/local/awstats目录下
cd /usr/local/awstats/tools                 //进入awstats的tools目录下

2. 为www.test.com站点新建站点统计配置文件，借助AWStates系统提供的awstats_configure.pl脚本进行建立，过程以下：

./awstats_configure.pl

----- AWStats awstats_configure 1.0 (build 20140126) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:

• You are not an administrator user,
• You want to analyze downloaded log files without web server,
• You want to analyze mail or ftp log files instead of web log files,
• You need to analyze load balanced servers log files,
• You want to 'understand' all possible ways to use AWStats...
  Read the AWStats documentation (docs/index.html).

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install

Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server setup):
/etc/httpd/conf/httpd.conf #输入Apache的配置文件绝对路径

-----> Check and complete web server config file '/etc/httpd/conf/httpd.conf'
Add 'Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"'
Add 'Alias /awstatscss "/usr/local/awstats/wwwroot/css/"'
Add 'Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"'
Add 'ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"'
Add '<Directory>' directive
AWStats directives added to Apache config file.

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.

-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y #输入y，生成新的配置文件

-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
www.test.com #输入网站域名:www.test.com

-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
#直接 “回车键”

-----> Create config file '/etc/awstats/awstats.www.test.com.conf'
Config file /etc/awstats/awstats.www.test.com.conf created.

-----> Restart Web server with '/sbin/service httpd restart'
Stopping httpd: [ OK ]
Starting httpd: [ OK ]

-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue...

A SIMPLE config file has been created: /etc/awstats/awstats.www.test.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'www.test.com' with command:
perl awstats.pl -update -config=www.test.com
You can also read your statistics for 'www.test.com' with URL:
http://localhost/awstats/awstats.pl?config=www.test.com

Press ENTER to finish... #直接“回车键”退出

3. 检查httpd.conf文件尾部是否含有如下信息

vim /etc/httpd/conf/httpd.conf

<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
Order Allow,deny
Allow from all
</Directory>

或以下图所示，便可

4. 修改站点统计配置文件

vim /etc/awstats/awstats.www.test.com.conf

......
LogFile="/var/log/httpd/access_log" //50行，修改web日志文件位置
DirData="/var/lib/awstats" //220行，数据目录，awstats 默认不存在（须要建立）
......

建立/var/lib/awstats目录

mkdir -p /var/lib/awstats

5. 重启httpd服务

service httpd stop
service httpd start

6. 使用AWStates提供的awstats_updateall.pl脚本更新全部站点的日志统计数据

./awstats_updateall.pl now   //更新站点数据

7. 因为Web日志文件的内容是不断在更新的，为了及时反馈网站访问的状况，日志分析工做也须要按期、自动地执行。能够经过crond服务设置计划性任务

添加计划性任务

crontab -e

/1 * /usr/local/awstats/tools/awstats_updateall.pl now //每分钟更新一次数据

启动crond服务

service crond start

经过如下网站进行访问awstats日志分析系统：http://www.test.com/awstats/awstats.pl?config=www.test.com

8. 为了便于访问awstats日志分析系统进行如下优化

cd /usr/local/apache/htdocs        //进入web站点目录下

vim awb.html //建立awb.html网页文件，并写入如下文件

<html>
<head>
<meta http-equiv=refresh content="0;url=http://www.test.com/awstats/awstats.pl?config=www.test.com">;
</head>
<body></body>
</html>

之后直接经过以下网址即可以进行访问： http://www.test.com/awb.html