【系列】scrapy启动流程源码分析(1)命令行启动

前言 虽然爬虫的入门级编写并不难,但要让爬虫真正稳定可靠的运行起来,真不是一件容易的事。 首先,要用到scrapy,就必需要读懂scrapy这个爬虫框架,若是连这个框架的执行逻辑都搞不懂,那么爬虫也很难写好。 下面,我将粗略研究一遍scrapy源码,把scrapy的启动和运行过程捋一遍。python 1.命令行启动 这里先不谈使用了各类框架的复杂状况,好比scrapyd服务、redis分布式队列等
相关文章
相关标签/搜索