Scrapy学习笔记(6)-反爬虫与反反爬虫策略

转自：http://jinbitou.net/2016/12/01/2229.html   前言     到目前为止我们已经写了好几个爬虫，虽然已经可以实现数据采集，但是我们的爬虫其实是在”裸奔”，因为没有加任何的伪装，很容易就可以被远程服务器识别出来，这也就意味着我们的爬虫很可能在采集了十几页数据或者运行几分钟之后就出现问题，轻则出现验证码或暂时访问不了目标站点，重则本机IP直接被拉入黑名单。你

>>阅读原文<<