Scrapy笔记（10）- 动态配置爬虫

有不少时候咱们须要从多个网站爬取所须要的数据，好比咱们想爬取多个网站的新闻，将其存储到数据库同一个表中。咱们是否是要对每一个网站都得去定义一个Spider类呢？其实不须要，咱们能够经过维护一个规则配置表或者一个规则配置文件来动态增长或修改爬取规则，而后程序代码不须要更改就能实现多个网站爬取。html 要这样作，咱们就不能再使用前面的scrapy crawl test这种命令了，咱们须要使用编程的方

>>阅读原文<<