Scrapy框架的流程

 那么 scrapy是如何帮助我们抓取数据的呢？ scrapy框架的工作流程：1.首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。 　　　　　　　　　　2.Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent, Prox

>>阅读原文<<