通过核心ＡＰＩ启动单个或多个scrapy爬虫

可以使用API从脚本运行Scrapy，而不是运行Scrapy的典型方法scrapy crawl；Scrapy是基于Twisted异步网络库构建的，因此需要在Twisted容器内运行它，可以通过两个API来运行单个或多个爬虫scrapy.crawler.CrawlerProcess、scrapy.crawler.CrawlerRunner。 启动爬虫的的第一个实用程序是scrapy.crawler.

>>阅读原文<<