10 scrapy框架解读--深刻理解爬虫原理

scrapy框架结构图: 组成部分介绍: Scrapy Engine： 负责组件之间数据的流转，当某个动做发生时触发事件web Scheduler： 接收requests，并把他们入队，以便后续的调度框架 Downloader： 负责抓取网页，并传送给引擎，以后抓取结果将传给spiderdom Spiders： 用户编写的可定制化的部分，负责解析response，产生items和URLscrapy

>>阅读原文<<