Python网络爬虫之requests库Scrapy爬虫比较

requests库Scrapy爬虫比较 相同点： 均可以进行页面请求和爬取，Python爬虫的两个重要技术路线 二者可用性都好，文档丰富，入门简单。 二者都没有处理JS，提交表单，应对验证码等功能（可扩展） 想爬取有验证码的，换须要学习别的库知识。web 不一样点： Scrapy,异步性。能够同时爬取不少。框架 （可是有些网站，会有反爬取模块。爬取的太快，反而很差！被发现会被屏蔽IP爬取请求） 很

>>阅读原文<<