python爬虫scrapy之如何同时执行多个scrapy爬行任务

背景:python   刚开始学习scrapy爬虫框架的时候,就在想若是我在服务器上执行一个爬虫任务的话,还说的过去。可是我不能每一个爬虫任务就新建一个项目吧。例如我创建了一个知乎的爬行任务,可是我在这个爬行任务中,写了多个spider,重要的是我想让他们同时运行,怎么办?服务器 小白解决办法:框架   一、在spiders同目录下新建一个run.py文件,内容以下(列表里面最后能够加上参数,如-
相关文章
相关标签/搜索