Python网络爬虫之requests库Scrapy爬虫比较

requests库Scrapy爬虫比较 相同点： 都可以进行页面请求和爬取，Python爬虫的两个重要技术路线 两者可用性都好，文档丰富，入门简单。 两者都没有处理JS，提交表单，应对验证码等功能（可扩展） 想爬取有验证码的，换需要学习别的库知识。 不同点： Scrapy,异步性。可以同时爬取很多。 （但是有些网站，会有反爬取模块。爬取的太快，反而不好！被发现会被屏蔽IP爬取请求） 非常小的爬取需

>>阅读原文<<