爬虫——scrapy框架核心组件流程

流程： 引擎检测起始列表的url,调用start_request方法对列表里的url发起请求 start_urls = [‘https://www.qiushibaike.com/text/’] Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。 Scheduler（排序，入队）处理后，经ScrapyEngine，D

>>阅读原文<<