反爬虫

1、为何要反爬虫 1. 爬虫占总PV比例较高，这样浪费钱（尤为是三月份爬虫） 三月份爬虫是个什么概念呢？每一年的三月份咱们会迎接一次爬虫高峰期。javascript 最初咱们百思不得其解。直到有一次，四月份的时候，咱们删除了一个url，而后有个爬虫不断的爬取url，致使大量报错，测试开始找咱们麻烦。咱们只好特地为这个爬虫发布了一次站点，把删除的url又恢复回去了。前端 可是当时咱们的一个组员表示很

>>阅读原文<<