Scrapy+redis+mongodb分布式爬虫抓取小说《冰与火之歌1-5》

一年前写了python简单实战项目：《冰与火之歌1-5》角色关系图谱构建的数据库设计和数据可视化共现图谱的构建，中间唯独缺了数据的采集，因为想着只是个小爬虫，应该无关痛痒，后面也觉得这个系列缺了这一环不完美。前几天想着还是补上，结果发现一年前写的爬虫失效了，故索性就再写一个，然后就想着直接用上现在主流的scrapy框架以及redis、mongodb这两个Nosql好了，以小见大。 代码上传到了Gi

>>阅读原文<<