jboss7访问日志功能及使用goaccess工具分析

      网络上虽然不少文章分别讲到jboss7的访问日志如何配置，goaccess工具怎么分析nginx/tomcat等日志。
但将二者放在一块儿即“经过goaccess分析jboss访问日志”的却是没搜索到。
     本文经过三节来介绍：
     1. jboss开启访问日志功能。
     2. goacess介绍及原理(我的理解的原理)
     3. 如何使用goaccess解析分析jboss的access.log
参考：
     http://chandank.com/application-server/tomcat/jboss-7-access-log-configuration
     https://www.goaccess.io/

一. 开启jboss的访问日志功能
     首先jboss7及以后版本相较以前版本发生比较大的调整，配置方式大不相同，此处展现jboss7及以后版本如何配置，
以前版本如何配置请自行搜索。
      以standalone模式配置为例
         1. 配置文件所在路径 ${jbossHome}\standalone\configuration
         2. 打开standalone.xml ,找到 <virtual-server>节点
         3. 在节点中加入以下内容
             <access-log pattern="%a %t %U %s %D" prefix="access_log." rotate="true">
                  <directory path="." relative-to="jboss.server.log.dir"/>
             </access-log>
         4. 重启便可看到${jbossHome}\standalone\log\目录下生成access_log

      pattern即定义accessLog须要记录哪些内容。具体参照以下
             %a- Remote IP address
             %A- Local IP address
             %b- Bytes sent, excluding HTTP headers, or '-' if zero
             %B- Bytes sent, excluding HTTP headers
             %h- Remote host name (or IP address if resolveHostsis false)
             %H- Request protocol
             %l- Remote logical username from identd (always returns '-')
             %m- Request method (GET, POST, etc.)
             %p- Local port on which this request was received
             %q- Query string (prepended with a '?' if it exists)
             %r- First line of the request (method and request URI)
             %s- HTTP status code of the response
             %S- User session ID
             %t- Date and time, in Common Log Format
             %u- Remote user that was authenticated (if any), else '-'
             %U- Requested URL path
             %v- Local server name
             %D- Time taken to process the request, in millis
             %T- Time taken to process the request, in seconds
             %I- current request thread name (can compare later with stacktraces)

 

二. goaccess 介绍及原理
     1.据称linux下最好用的日志分析工具
     2.我见过用过的最好的日志分析工具，简单，快，很是灵活
     3.分析结果生成的页面很是精美，符合领导口味，本身也省事。
     4.彻底免费，项目网站: https://www.goaccess.io/

     访问日志分析原理：
           要分析，首先要能提取并识别日志中的有用信息。 而accessLog的特色就是日志自己的格式相对固定。
     好比上节我配置的jboss accessLog pattern="%a %t %U %s %D" 打印出来就以下：
           10.108.67.90 [25/Jul/2016:11:56:39 +0800] /fltDynInfo/restJson/0323/20160725 200 1103
           10.108.68.251 [25/Jul/2016:14:20:16 +0800] /fltDynInfo/restJson/3167/20160723 200 579
           10.108.68.251 [25/Jul/2016:14:33:31 +0800] /fltDynInfo/restJson/detail/3167/20160723/CAN/TSN 200 185
           10.108.68.251 [25/Jul/2016:14:33:55 +0800] /fltDynInfo/restJson/detail/3167/20160723/TSN/CAN 200 265
           10.108.68.251 [25/Jul/2016:14:35:47 +0800] /fltDynInfo/restJson/detail/3167/20160723/TSN/WUH 200 12

           goaccess的配置文件最主要的做用之一就是让你能够定义分析目标的每行日志的格式（分割符是什么，以该分割符划分的字段依次表明什么含义）。
     它定义的方式和上节jboss pattern的配置是相似的。 下图是从它官网上截取的goaccess对访问日志字段的定义
     
     如上图最后几行所说，要使用goaccess，你必需要至少指定 %h, %t, %r(%r可由类似的定义代替,如%U)

 

三. 使用goaccess分析 jboss access.log
       经过上2节，应该已经明了要完成此项工做只需恰当配置goaccess的提取格式，使其识别并对应提取access.log的信息。
 一般配置goaccess只需三步。 即配置 time-Format, date-Format ,log-Format
 配置文件名称goaccess.conf,一般在 /etc/, /usr/etc/ or /usr/local/etc/

       无论什么日志，时间是不可或缺的， time-Format, date-Format 经过配置 时分秒 和 日期在log中的展现格式， 
  以使得可以正确解析。goaccess配置文件中以及预置了好几种格式供选择。
  好比我access.log打印的时间格式是 25/Jul/2016:11:56:39，那对应 time-Format %H:%M:%S，date-format %d/%b/%Y

        logFormat则根据日志打印的内容以及上图所示goaccess的定义符。
       好比我jboss打印的日志 pattern="%a %t %U %s %D" 含义是 “访问ip 访问时间 URL 响应状态 响应时长ms”
       对应按照goaccess的定义。 log-format %h [%d:%t %^] %U %s %D 含义是“clientIp [日期:时间 忽略] URL 响应状态 响应时长ms”

        如此，就配置好了。 goaccess支持众多参数支持多种分析形式·多种结果格式·多种分析条件的分析，具体请查看官网的man page       
       此处进行最简单的分析，并生成html:
       goaccess -f access.log -a -o report.html

  贴几张分析结果的截图，基本上经常使用的维度它都有包含，具体看官网介绍：