Scrayp-集成scrapy_redis和bloomfilter实现增量

前言 （备注一下，个人开发环境不是Linux就是MacOSX，Windows不少写法不是这样的） 在爬取数据的过程当中，有时候须要用到定时、增量爬取。定时这里暂且不说，先说增量爬取。css 我想要的增量爬取目前只是简单的，根据url请求来判断是否爬过，若是爬过则再也不爬。 复杂一些的增量则是重复爬取，根据指定的几个字段判断是否值有变化，值有变化也算做增量，应当爬取且只更新变化部分（好比天猫商品数据

>>阅读原文<<