访问日志不记录静态文件 日志切割 及静态元素过时时间

扩展 
apache日志记录代理IP以及真实客户端IP http://ask.apelearn.com/question/960
apache只记录指定URI的日志 http://ask.apelearn.com/question/981
apache日志记录客户端请求的域名 http://ask.apelearn.com/question/1037
apache 日志切割问题 http://ask.apelearn.com/question/566javascript

访问日志不记录指定类型的文件目录概要

  • 网站大多元素为静态文件,如图片、css、js等,这些元素能够不用记录
  • 把虚拟主机配置文件改为以下:在ErrorLog "logs/111.com-error_log" 后面加入下面这些

    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img
    CustomLog "logs/111.com-access_log" combined env=!imgphp

  • 从新加载配置文件 -t, graceful
  • mkdir /data/wwwroot/www.111.com/images //建立目录,并在这目录下上传一个图片
  • curl -x127.0.0.1:80 -I 111.com/images/baidu.png
  • tail /usr/local/apache2/logs/111.com-access_log

访问日志不记录指定类型的文件

  • 浏览器能够查看到页面元素,按 F12 查看页面元素内容,它默认定位在Network。若是不是在Network,就去选择下Network,而后刷新下网页,会看到如图css

  • 会看到右侧出现不少的元素,每一行都表示一个元素,这些请求,这些访问都会记录到访问日志里面去的,但实际上没有必须记录一些图片、css、js等元素,而这些请求都会记录到日志文件里,就会致使天天的日志访问量很大,对以后的运维很不方便,因此就有了需求,对于静态的元素的uri 不进行记录html

  • 排除图片、css、js等,拷贝配置文件到服务器里面java

  • 须要拷贝的配置文件
<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.example.com 2111.com.cn
    ErrorLog "logs/111.com-error_log"
    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img
    CustomLog "logs/111.com-access_log" combined env=!img
</VirtualHost>
  • 打开虚拟主机配置文件
  • vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
  • 在 ErrorLog 下一行插入
[root@yong-02 images]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf 
#<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/abc.com"
    ServerName abc.com
    ServerAlias www.abc.com www.123.com
    ErrorLog "logs/abc.com-error_log"
    CustomLog "logs/abc.com-access_log" common
</VirtualHost>

<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.example.com 2111.com.cn
    #<Directory /data/wwwroot/111.com>
    #<FilesMatch 123.php>
     #    AllowOverride AuthConfig
     #    AuthName "111.com user auth"
     #    AuthType Basic
     #    AuthUserFile /data/.htpasswd
     #    require valid-user
     #</FilesMatch>    
     #</Directory> 
     # <IfModule mod_rewrite.c> 
       #须要mod_rewrite模块支持
     #   RewriteEngine on 
       #打开rewrite功能
     #    RewriteCond %{HTTP_HOST} !^111.com$  
        #定义rewrite的条件,主机名(域名)不是111.com知足条件
     #    RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L] 
       #定义rewrite规则,当知足上面的条件时,这条规则才会执行
     #  </IfModule>

    ErrorLog "logs/111.com-error_log"
    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img
    CustomLog "logs/111.com-access_log" combined env=!img
</VirtualHost>


并保存退出
  • 至关于定义了一个环境
  • img 是一个标签、一个变量,能够自定义,能够是任意字符
  • 定义”..gif$”、”..jpg$”、”..png$”、”..bmp$”、”..swf$”、”..js$”、”.*.css$”;这些都是 img
  • env=!img 表示 env非 img 类型的都进行日志记录
  • 在设置好配置文件后,先不加载配置文件,先作一个测验
[root@yong-02 images]# curl -x127.0.0.1:80 111.com/fsadfq.jpg -I
HTTP/1.1 404 Not Found
Date: Wed, 30 May 2018 13:59:42 GMT
Server: Apache/2.4.33 (Unix) PHP/7.1.6
Content-Type: text/html; charset=iso-8859-1
  • 在访问这样的请求,不论是404,仍是200都会记录日志
[root@yong-02 images]# tail /usr/local/apache2/logs/111.com-access_log 
127.0.0.1 - - [30/May/2018:22:00:53 +0800] "HEAD HTTP://111.com/1.php HTTP/1.1" 200 - "-" "curl/7.29.0"
127.0.0.1 - - [30/May/2018:22:01:14 +0800] "HEAD HTTP://111.com/images/baidu.com HTTP/1.1" 404 - "-" "curl/7.29.0"
  • 而后在检查配置文件语法,并从新加载配置文件
[root@yong-02 ~]# /usr/local/apache2/bin/apachectl -t
Syntax OK
[root@yong-02 ~]# /usr/local/apache2/bin/apachectl graceful
  • 这时再来curl访问,会发现日志中没有记录
[root@yong-02 images]# tail /usr/local/apache2/logs/111.com-access_log 
127.0.0.1 - - [30/May/2018:22:00:53 +0800] "HEAD HTTP://111.com/1.php HTTP/1.1" 200 - "-" "curl/7.29.0"
127.0.0.1 - - [30/May/2018:22:01:14 +0800] "HEAD HTTP://111.com/images/baidu.com HTTP/1.1" 404 - "-" "curl/7.29.0"
  • 只要是gif、jpg、png、bmp、swf、js的都不会在日志中有记录

本地上传图片并访问

  • 进入到在/data/wwwroot/111.com/images目录下 并上传一张图片到该目录下
[root@yong-02 ~]# cd /data/wwwroot/111.com/images/
[root@yong-02 images]# ls 
baidu.png

用curl命令查看图片,会发现图片是能访问的apache

[root@yong-02 images]# curl -x127.0.0.1:80 111.com/images/baidu.png -I
HTTP/1.1 200 OK
Date: Wed, 30 May 2018 14:05:19 GMT
Server: Apache/2.4.33 (Unix) PHP/7.1.6
Last-Modified: Wed, 30 May 2018 13:46:34 GMT
ETag: "a46d-56d6c9435c280"
Accept-Ranges: bytes
Content-Length: 42093
Content-Type: image/png
  • 在浏览器访问网页图片,会发现图片是能访问的

  • 查看日志文件,会发现日志文件中没有记录图片的日志,这个就是由于定义了日志标签
[root@yong-02 images]# tail -5 /usr/local/apache2/logs/111.com-access_log 
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:42 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "http://111.com/images/baidu.png" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
  • 这时去掉虚拟主机配置文件中的env=!img ,在用浏览器浏览图片,在curl命令访问图片

 

  • 这时再来刷新浏览器访问图片,用curl访问图片
[root@yong-02 images]# curl -x127.0.0.1:80 111.com/images/baidu.png -I
HTTP/1.1 200 OK
Date: Wed, 30 May 2018 14:09:41 GMT
Server: Apache/2.4.33 (Unix) PHP/7.1.6
Last-Modified: Wed, 30 May 2018 13:46:34 GMT
ETag: "a46d-56d6c9435c280"
Accept-Ranges: bytes
Content-Length: 42093
Content-Type: image/png
  • 查看日志文件,会发现日志文件有记录存在
[root@yong-02 images]# tail -5 /usr/local/apache2/logs/111.com-access_log 
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
192.168.180.1 - - [30/May/2018:22:06:42 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "http://111.com/images/baidu.png" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
127.0.0.1 - - [30/May/2018:22:12:11 +0800] "HEAD HTTP://111.com/images/baidu.png HTTP/1.1" 200 - "-" "curl/7.29.0"
  • 这时在到虚拟主机配置文件中加上env=!img ,并从新加载配置文件,在刷新图片,会看到日志文件中并无记录日志

日志文件不记录总结

  • 如果不去作一个限制,那么每一次请求都会记录到日志文件,日志文件就会变得愈来愈大,这样不只会消耗磁盘空间,还会耗费磁盘i/o,并且这些文件毫无心义,因此须要作一个限制

访问日志切割

  • 日志一直记录总有一天会把整个磁盘占满,因此有必要让它自动切割,并删除老的日志文件
  • 把虚拟主机配置文件改为以下:
<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/www.123.com"
    ServerName www.123.com
    ServerAlias 123.com
   SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img 
    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/123.com-access_%Y%m%d.log 86400" combined env=!img
</VirtualHost>
  • 从新加载配置文件 -t, graceful
  • ls /usr/local/apache2/logs

访问日志切割

  • 当日志一直往一个文件中写入,总会有一天把磁盘写满,因此就须要把文件天天作一个切割,而后超过必定时间段的这些日志删除或者拷贝走,这样就能保证磁盘永远写不满
  • 打开配置文件
  • vim /usr/local/apache2/conf/extra/httpd-vhosts.conf
[root@yong-02 ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf

更改CustomLog配置
1.首先指定一个工具rotatelogs
2.在定义一个日志的名称%Y%m%d
3.规定时间去生成,时间段就为1天,换算成秒,就是86400秒

CustomLog "|/usr/local/apache2/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img

而后保存退出
  • rotatelogs工具,它是Apache自带的一个切割工具
    • -l参数,目的是以当前系统时间为基准。若是不指定 -l ,那么就会指定 UTC时间 的格式去切割日志
      • 在中国应该是 CST,在美国是 UTC ,二者时区不一样,相差几个小时
  • 定义日志的名称,由于是切割的,因此根据时间日期让它自动变,就须要加一个变量%Y%m%d
    • %Y,表示 年
    • %m,表示 月
    • %d,表示 日
  • 按规定时间去生成,时间段为1天,换算成秒,就是86400秒
  • 而后查看配置文件语法有无错误,并从新加载配置文件
[root@yong-02 ~]# /usr/local/apache2/bin/apachectl -t
Syntax OK
[root@yong-02 ~]# /usr/local/apache2/bin/apachectl graceful
  • 这时候还须要去作一些访问,由于尚未任何的日志生成,在这个目录下尚未生成一个新的文件
[root@yong-02 images]# ls /usr/local/apache2/logs/
abc.com-access_log  dummy-host2.example.com-access_log  httpd.pid
111.com-access_log           abc.com-error_log   dummy-host2.example.com-error_log
111.com-error_log            access_log          error_log
  • 用curl命令访问
[root@yong-02 images]# curl -x127.0.0.1:80 111.com/123.php
123.php[root@yong-02 images]#
  • 这时候会看到一个以日期为后缀的新日志文件
[root@yong-02 images]# ls /usr/local/apache2/logs/
111.com-access_20180530.log  abc.com-access_log  dummy-host2.example.com-access_log  httpd.pid
111.com-access_log           abc.com-error_log   dummy-host2.example.com-error_log
111.com-error_log            access_log          error_log
  • 查看新生成的日志文件内容,会看到就是刚刚curl命令访问的
[root@yong-02 images]# cat /usr/local/apache2/logs/111.com-access_20180530.log 
127.0.0.1 - - [30/May/2018:22:19:55 +0800] "HEAD HTTP://111.com/images/baidu.com HTTP/1.1" 404 - "-" "curl/7.29.0"
127.0.0.1 - - [30/May/2018:22:25:55 +0800] "GET HTTP://111.com/123.php HTTP/1.1" 200 7 "-" "curl/7.29.0"
  • 在之后的凌晨0点的时候,就会生成一个新的日志
  • 另外还须要作一个任务计划,超过一个月或两个月的日志删除,若是不删除,那是否切割日志就没有意义了

日志切割总结

  • 作日志切割的目的,是为了防止磁盘写满,另外一个目的就是为了更方便的去管理日志

配置静态元素过时时间目录概要

  • 浏览器访问网站的图片时会把静态的文件缓存在本地电脑里,这样下次再访问时就不用去远程下载了 增长配置
<IfModule mod_expires.c>
    ExpiresActive on  //打开该功能的开关
    ExpiresByType image/gif  "access plus 1 days"
    ExpiresByType image/jpeg "access plus 24 hours"
    ExpiresByType image/png "access plus 24 hours"
    ExpiresByType text/css "now plus 2 hour"
    ExpiresByType application/x-javascript "now plus 2 hours"
    ExpiresByType application/javascript "now plus 2 hours"
    ExpiresByType application/x-shockwave-flash "now plus 2 hours"
    ExpiresDefault "now plus 0 min"
</IfModule>
  • 须要expires_module
  • curl测试,看cache-control: max-age

配置静态元素过时时间

  • 静态元素,就是访问的图片、css、js
  • 当用浏览器去访问一个网站的时候,这个网站里全部的静态文件(好比图片的样式、js),浏览器就会默认把静态文件缓存在电脑里,叫作临时的目录或目录
    • 缓存的时间是在服务器上定义的,若是不去定义,那么浏览器也不会把这些文件清空,或者浏览器有本身的机制去清空这些文件,或者说电脑软件会定时帮你清理这些缓存的文件
    • 为何电脑会自动加载这些静态文件呢?目的就是第二次,第三次访问的时候,不去服务器去下载这些静态文件了
  • 在使用浏览器自带的F12键去进行比对,第一次访问一个图片的时候是200的状态码,第二次访问的时候,就是304,它检测到下载的图片并无修改过,因此就不会从新到服务器下载一次,这样能够节省带宽,但没有规定缓存何时清空,何时去服务器上去下载,再次下载,由于只要浏览器检测到图片未作更改,它这个状态码就一直为304,304这个状态码就意味着他不会去服务器下载

定义静态文件失效日期

  • expires_module模块,定义失效日期
  • 打开虚拟主机配置文件vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf,并添加配置文件
  • 须要添加的配置文件
    • 这里有全部的图片定义成一天
    • 全部的 css 和 js 都定义成两小时
    • 其余的没有任何的缓存
<IfModule mod_expires.c>
    ExpiresActive on      //打开该功能的开关
    ExpiresByType image/gif  "access plus 1 days"    //定义Type类型,这里是一天
    ExpiresByType image/jpeg "access plus 24 hours"        //定义Type类型,这里是24小时
    ExpiresByType image/png "access plus 24 hours"        //定义Type类型
    ExpiresByType text/css "now plus 2 hour"                        //定义Type类型,两小时
    ExpiresByType application/x-javascript "now plus 2 hours"       // 定义Type类型
    ExpiresByType application/javascript "now plus 2 hours"        //定义Type类型
    ExpiresByType application/x-shockwave-flash "now plus 2 hours"        //定义Type类型
    ExpiresDefault "now plus 0 min"            //定义Type类型
</IfModule>
  • 在配置文件中添加
[root@yong-02 ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf


<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/111.com"
    ServerName 111.com
<VirtualHost *:80>
    DocumentRoot "/data/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.example.com 2111.com.cn
    #<Directory /data/wwwroot/111.com> 
    #<FilesMatch 123.php>
    #    AllowOverride AuthConfig 
    #    AuthName "111.com user auth"
    #    AuthType Basic 
    #    AuthUserFile /data/.htpasswd  
    #    require valid-user
    # </FilesMatch>
    #</Directory>
    <IfModule mod_rewrite.c>
        RewriteEngine on
        RewriteCond %{HTTP_HOST} !^111.com$
        RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]
   </IfModule>
<IfModule mod_expires.c>
    ExpiresActive on  
    ExpiresByType image/gif  "access plus 1 days"
    ExpiresByType image/jpeg "access plus 24 hours"
    ExpiresByType image/png "access plus 24 hours"
    ExpiresByType text/css "now plus 2 hour"
    ExpiresByType application/x-javascript "now plus 2 hours"
    ExpiresByType application/javascript "now plus 2 hours"
    ExpiresByType application/x-shockwave-flash "now plus 2 hours"
    ExpiresDefault "now plus 0 min"
</IfModule>
    ErrorLog "logs/111.com-error_log"
    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img
   CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/123.com-access_%Y%m%d.log 86400" combined env=!img
</VirtualHost>

并保存退出
  • 而后检查是否存在语法错误
[root@yong-02 images]# /usr/local/apache2/bin/apachectl -t 
Syntax OK
  • 查看expire模块是否打开,会发现expire模块没有打开
[root@yong-02 images]# /usr/local/apache2/bin/apachectl -M |grep expire
  • 编辑主配置文件,打开expire模块
  • vim /usr/local/apache2/conf/httpd.conf
[root@yong-02 ~]# vim /usr/local/apache2/conf/httpd.conf

搜索 /expire ,找到该行的配置文件,并去除的注释符 # 号
LoadModule expires_module modules/mod_expires.so

而后保存退出
  • 在从新加载配置文件,并查看expire模块
[root@yong-02 images]# /usr/local/apache2/bin/apachectl -M |grep expire
 expires_module (shared)
  • 按ctrl+F5能够强制把浏览器本地的缓存清空
  • 用curl命令去访问图片
[root@yong-02 images]# curl -x127.0.0.1:80 111.com/images/baidu.png -I
HTTP/1.1 200 OK
Date: Wed, 30 May 2018 14:45:00 GMT     //当前时间
Server: Apache/2.4.33 (Unix) PHP/7.1.6
Last-Modified: Wed, 30 May 2018 13:46:34 GMT
ETag: "a46d-56d6c9435c280"
Accept-Ranges: bytes
Content-Length: 42093
Cache-Control: max-age=86400      //缓存的时间
Expires: Thu, 31 May 2018 14:45:00 GMT   //过时时间
Content-Type: image/png
  • 如果将expire模块去除,再去curl命令查看图片,就没法看到Cache-Control参数
相关文章
相关标签/搜索