python scrapy项目下spiders内多个爬虫同时运行

  通常建立了scrapy文件夹后，可能须要写多个爬虫，若是想让它们同时运行而不是顺次运行的话，得怎么作？html   a、在spiders目录的同级目录下建立一个commands目录，并在该目录中建立一个crawlall.py，将scrapy源代码里的commands文件夹里的crawl.py源码复制过来，只修改run()方法便可！python   import os from scrapy.c

>>阅读原文<<