三种去重方式——HashSet、Redis去重、布隆过滤器（BloomFilter）

三种去重方式 去重就有三种实现方式，那有什么不同呢？ HashSet 使用java中的HashSet不能重复的特点去重。优点是容易理解。使用方便。 缺点：占用内存大，性能较低。 Redis去重 使用Redis的set进行去重。优点是速度快（Redis本身速度就很快），而且去重不会占用爬虫服务器的资源，可以处理更大数据量的数据爬取。 缺点：需要准备Redis服务器，增加开发和使用成本。 布隆过滤器（

>>阅读原文<<