BloomFilter（大数据去重）+Redis（持久化）策略

BloomFilter（大数据去重）+Redis（持久化）策略 2017年11月10日 15:43:06 阅读数：4223 ------- BloomFilter（大数据去重）+Redis（持久化）策略 背景 以前在重构一套文章爬虫系统时，其中有块逻辑是根据文章标题去重，原先去重的方式是，插入文章以前检查待插入文章的标题是否在ElasticSearch中存在，这无疑加剧了ElasticSearch

>>阅读原文<<