如何作Nginx安全日志分析可视化


以前介绍过ModSecurity这款优秀的开源WAF,它是一个入侵检测与阻止的引擎,本来是Apache的一个模块,如今可做为单独模块编译添加到Nginx服务中php


虽然这款WAF很优秀,可是使用起来并无那么容易,以前也整理了文章介绍它的原理和规则,然而还有一个问题,就是它的日志分析,以前介绍原理规则的时候,也介绍了它的日志规则,可是在使用过程当中,纯文本的记录方式,对于入侵分析太不友好了mysql


因此今天介绍一款管理ModSecurity日志的开源项目WAF-FLEnginx

WAF-FLE是专门用来处理ModSecurity日志和事件的控制台,管理员能够经过WAF-FLE查看和搜索ModSecurity记录的日志git


WAF-FLE是PHP写的开源项目,搭建须要LNMP/LAMP环境github

环境需求:web

  • Apache/Nginxsql

  • PHP5.3+数据库

    • php-pdoapache

    • php-mysql缓存

    • php-apc

  • php-geoip

  • MySQL5.1+


安装环境不赘述,只说一个GeoIP库的安装,这里要经过GeoIP库去展现入侵IP信息,因此须要用到这个库,安装很简单,其实就是下载一个dat数据库,从https://www.maxmind.com/en/geoip-demo下载

下载后解压出dat文件便可


环境准备好以后,从github下载WAF-FLE:https://github.com/klaubert/waf-fle


在waf-fle的extra目录下,存放了数据库sql文件,以及Apache的配置文件,若是是用的Apache,直接将这个配置复制到apache配置目录下便可,若是用Nginx,参考下面的配置


修改config.php的时候,由于我没有安装apc的缓存扩展,这扩展很老了,因此直接设置APC_ON=false,关闭这个缓存


完成上面以后,经过域名访问,便可访问到安装界面

这里检查php扩展的时候,若是你不是Apache的话,会有个问题,就是在setup.php的499行,它用apache_getenv检测是否用Apache运行的,若是没运行Apache,这里过不去,我这里是Nginx运行的,因此打开setup.php文件499行,把这部分代码注释掉便可


接着点击运行建立数据库

这里建立数据库的时候又有个问题,在setup.php代码28行的地方,执行建立函数的时候,引用一个$databaseSchema,这里修改定义了一个位置,可是我放置的是个人位置,因此这里须要根据本身状况进行修改

修改完成后,继续经过页面执行建立数据库操做,建立完成以下:

安装完成,默认用户名密码是admin/admin,以后,在config.php中配置$SETUP=false,关闭安装以后,从新访问

默认用户密码登陆以后,就须要修改用户名密码

设置完新密码以后,就会跳转到主界面了

目前没有数据,如今开始接入日志数据,点击菜单栏的management,添加sensor

保存后,即建立好一个sensor,用来接收日志

建立好以后,在这个sensor上面,开始配置事件接收器

这里选着用mlog2waffle的方式接收日志,而后选着service deamon的方式查询日志,这种是实时查询,WAF-FLE controller URL是配置waf-fle的控制器地址,mlog2waffle是经过put请求发送数据到这个接口地址,下面就是配置ModSecurity日志的配置路径,配置完成后,点击Next

系统会给出提示配置,须要按照给出的配置,配置这几个配置文件,这里按照提示的配置操做便可,须要的mlog2waffle配置文件及启动脚本都在extra目录下


配置完成后,启动mlog2waffle


mlog2waffle,是经过put方法发送日志到waf-fle的,可是默认Nginx是不容许put请求的,因此启动会报错,须要在nginx中,经过dav方法,容许put请求


启动mlog2waffle过程当中,遇到很多问题,记录以下:

  • mlog2waffle中配置了$CHECK_CERT = "TRUE",用来检测SSL的,当用http的时候,这里要改为False,不然会握手失败

  • mlog2waffle中配置了$CHECK_CONNECTIVITY = "TRUE",这里是启动,检测mlog2waffle和waffle的连通讯的,经过check_conn方法


这里经过PUT方法,发送了一个检测请求,这里比较坑的是,发送PUT请求,没有URI,可是Nginx在检测到PUT请求没有URI的时候,会报409,认为资源有冲突

因此,无论怎么作,这里检测就不会经过,两种方法处理,一种是直接关闭这个检测,mlog2waffle就能够正常启动,另一种方法就是修改这个检测的方法,将uri带上mlog2waffle是perl脚本,很简单


  • waf-fle中使用了很多Apache专用内置函数,好比apache_getenv()、getallheaders()、apache_setenv(),由于这里用的Nginx,因此这几个函数都没有,

这里须要手动替换下,经过$_SERVER去获取客户端IP,而getallheaders()方法,须要手动写一个,以下:

另外在index.php中,65行的位置,本来是经过apache_setenv()将获取到的sensor的名称,复制给Apache的"REMOTE_USER",这里不用Apache,因此直接注释掉便可


修改完这些,就能够经过脚本启动mlog2waffle了


启动后,经过waf的access日志就能够看到mlog2waffle已经开始经过put方法将日志解析成event,传输到waf-fle


在mlog2waffle的readIndex方法中,由于要读取并解析日志索引文件,因此有一个正则匹配如图:

这里须要你更具本身记录的日志格式进行修改匹配,彻底匹配后,才能正确读取到日志,并解析后经过send_event方法将解析后的内容经过PUT方法传输到waf-fle进行展现


waf-fle的接收文件就一个index.php,它将全部步骤经过正则解析,有兴趣的能够看下源码,到此waf-fle就部署完成了,看下效果


虽然waf-fle是比较老的开源项目,可是对于modsecurity的日志分析彻底够用




运维技术交流群

「运维研习社」创建了运维技术交流群,你们能够添加小编微信进行加群。欢迎有想法、乐于分享的朋友们一块儿进群交流学习。


扫描添加好友邀您进运维交流群


Nginx负载均衡配置误区

Nginx安装后第一个要改的配置

Nginx的Upstream监控及告警

Nginx零成本、易操做实现网站视频加速


本文分享自微信公众号 - 运维研习社(gh_4135e2716ad3)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索