scrapy 框架的工作流程

scrapy 框架的工作流程： 1，首先spider将需要发送请求的url 经scapyengin(引擎）交给scheduler（调度器） 2，调度器（排队入队）处理后，经引擎，Downloadermiddlewares（可选，主要有user-agent，proxy代理）交给downloader 3，downloader向互联网发送请求，并接收下载相应（response），将响应（response

>>阅读原文<<