Scrapy爬虫框架——介绍

一、Scrapy爬虫框架介绍 Scrapy不是一个函数功能库，而是一个爬虫框架。 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 二、Scrapy框架结构（5+2结构） 三、框架的数据流路径（三条） 第一条路径： 1.Engine从Spider处获得爬取请求(Request) (框架入口) 2.Engine将爬取请求转发给Scheduler

>>阅读原文<<