BloomFilter（大数据去重）+Redis（持久化）策略

BloomFilter（大数据去重）+Redis（持久化）策略 背景 以前在重构一套文章爬虫系统时，其中有块逻辑是根据文章标题去重，原先去重的方式是，插入文章以前检查待插入文章的标题是否在ElasticSearch中存在，这无疑加剧了ElasticSearch的负担也势必会影响程序的性能！java BloomFilter算法 简介：布隆过滤器其实是一个很长的二进制向量和一系列随机映射函数。布隆过滤

>>阅读原文<<