Nginx禁止某些User Agent抓取网站

你们都知道网络上的爬虫很是多，爬虫有利也有弊，爬虫能够让咱们的网站容易被其余人搜到，好比百度蜘蛛(Baiduspider)php 问题是有些爬虫不遵循robots规则对服务器形成压力，或者是恶意爬取网页、采集数据。很差的爬虫会耗费大量的服务器资源html 影响正常的用户使用。有些服务器是按流量计费，被爬虫耗费不少流量要交这些额外产生的费用，好比：七牛nginx Nginx反爬虫 在Nginx安装目

>>阅读原文<<