一篇文章带你理解Scrapy框架

首先，什么是Scrapy框架? Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取的python爬虫框架 那什么是爬虫框架呢？ 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合；爬虫框架是一个半成品， 能够帮助用户实现专业网络爬虫。 Scrapy框架图如下： 先来看看Scrapy的5+2结构（五个主体+两个中间件）： Scrapy Engine(引擎): 负责Spider、ItemPi

>>阅读原文<<