使用kibana制做每段时间内IP请求直方图

使用如下方法制做直方图,能够发现可疑的爬虫

1) 观察nginx活跃的连接用户,若是持续时间较长,可能为爬虫或者外挂.

2) 观察nginx具体某个uri请求,在一段时间内ip的分布状况.好比登录,或者搜索,或者查看商品详情

3) 持续观察nginx日志请求总数,发现可疑ip,可能为爬虫,

使用kibana挖掘出可疑爬虫.

针对柱状图里面的ip进行行为分析,发现占比最高的6个IP是抓取数据的,

能够封ip,或者使用waf策略限制请求次数,避免对服务器性能有影响.