Python爬虫框架Scrapy工做流程

Scrapy工做流程图 具体流程步骤: 爬虫(spiders)将须要发送请求的url(request)交给引擎(engin); 引擎(engine)将request对象交给调度器(scheduler); 调度器(scheduler)通过(排队、入队等)处理后,从新把request对象交给引擎(engine); 引擎将request对象交给下载器(downloader),中间可能会通过中间件(dow

>>阅读原文<<