scrapy利用redis实现url去重与增量爬取

引言 以前数据采集时有2个需求就是url去重与数据的增量爬去（只可以请求增长的url，否则会增长被爬网站的服务器负荷）,最开始的想法是指用redis的set实现url去重，但在后面开发中无心的解决了增量爬去的类容。下面贴上主要代码。python 具体实现步骤 将每次爬去的连接存入redis（pipeline.py） class InsertRedis(object): def __init

>>阅读原文<<