利用nginx来屏蔽网页爬虫

利用nginx来屏蔽指定的user_agent的访问以及根据user_agent作跳转 转自：https://www.cnblogs.com/hh2737/p/6784864.htmlphp 对于作国内站的我来讲，我不但愿国外蜘蛛来访问个人网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了以后，严重浪费服务器的带宽和资源。经过判断user agent，在nginx中禁用这些蜘蛛能够节省一

>>阅读原文<<