scrapy工作流程

一:scrapy 工作原理介绍: 千言万语,不如一张图来的清晰: 解释说明: 1、从优先级队列中获取request对象,交给engine 2、engine将request对象交给下载器下载,期间会通过downloadmiddleware的process_request方法 3、下载器完成下载,获得response对象,将该对象交给engine,期间会经过downloadmiddleware的pro
相关文章
相关标签/搜索