Scrapy运行流程

Scrapy组件：数据库 * 引擎【Engine】：处理整个系统的数据流处理 触发事务 * 调度器【Scheduler】：接收Engine发来的请求并压入队列，在请求时执行出队 * 下载器【Downloader】：经过Engine拿到调度器出队的URL执行下载操做，并将response返回给Spiders * 爬虫【Spiders】：从Downloader返回的response中提取item，即实

>>阅读原文<<