漫画：什么是布隆算法？

两周之前—— 爬虫的原理就不细说了，无非是通过种子URL来顺藤摸瓜，爬取出网站关联的所有的子网页，存入自己的网页库当中。 但是，这其中涉及到一个小小的问题...... URL去重方案第一版：HashSet 创建一个HashSet集合，把每一个URL字符串作为HashSet的key插入到集合当中，利用HashSet的Key唯一性来对URL做去重。 这个方案看似没毛病，但是经过几轮压测之后......

>>阅读原文<<