一分钟了解scrapy流程

 scrapy 框架流程图   我们就按照这张图进行详解 spiders 将URL发送到引擎,然后在经过调度器,调度器对引擎发过来的requests按照一定的方式整理队列 然后返回给引擎,引擎又将request扔给downloader,downloader进行请求,将返回来的response返回给引擎,然后在经过spiders,进行解析,然后在经过item pipelines对数据进行存储
相关文章
相关标签/搜索