scrapy源码分析（一）---------------------总执行流程概览

scrapy是一个基于twisted实现的开源爬虫，要读懂其源码，须要对twisted的异步编程模型有必定了解。能够经过以前3篇deferred的相关教程了解。编程 下面是总结的执行一个爬虫任务的总体执行流程，请将图片放大查看，即运行"scrapy crawl  xxxSpider"的执行流程：异步 流程中主要的颜色框的含义以下 ：scrapy 1.红色框是模块或者类。ide 2.紫色框是向模块或

>>阅读原文<<