Scrapy爬虫框架介绍

一、爬虫框架简介 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 二、Scrapy爬虫框架结构 五个模块：       spiders（爬虫）：解析downloader产生的相应（response），产生爬取项Item，产生额外的爬取请求（requests）       scheduler（调度器）：负责对爬取请求进行调度管理（可能同时有

>>阅读原文<<