Nginx反爬虫攻略：禁止某些User Agent抓取网站

咱们都知道网络上的爬虫很是多，有对网站收录有益的，好比百度蜘蛛（Baiduspider），也有不但不遵照robots规则对服务器形成压力，还不能为网站带来流量的无用爬虫，好比宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！因此本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近发现nginx日志中出现了好多宜搜等垃圾的抓取记录，因而整理收集了网络上各类禁止垃圾蜘蛛爬站的方法

>>阅读原文<<