Nginx反爬虫配置

 当咱们在爬取别人的网站的时候，咱们本身的网站也有可能会被别人爬，呵呵，怎样防止本身的网站不被其余人爬取呢？经过Nginx, 咱们能够拦截大部分爬虫。那么再增长一个反爬虫配额文件：php vim /usr/local/nginx/conf/anti_spider.conf 写入：html #禁止Scrapy等工具的抓取   if ($http_user_agent ~* (Scrapy|Curl|

>>阅读原文<<