爬虫进阶之scrapy框架学习

爬虫进阶之scrapy框架学习 前言 爬虫爬来爬去最后都仍是用比较主流的框架进行爬取，至于为何要使用框架进行爬取，多是基于了Scrapy框架的如下优势：html 更容易构建大规模抓取项目； 异步处理请求的速度快 使用自动调节机制自动调整爬取速度 所以学习爬虫过程当中，爬虫框架的学习天然也是重点，萌新第一次接触Scrapy也发现确实还算比较复杂，所以慢慢总结，尽可能可以熟悉一些吧。python 正文

>>阅读原文<<