文档去重算法：SimHash和MinHash

来源：  http://grunt1223.iteye.com/blog/964564 在工做学习中，我每每感叹数学奇迹般的解决一些貌似不可能完成的任务，而且十分但愿将这种喜悦分享给你们，就比如说：“老婆，出来看上帝”……  随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个颇有意义的课题。例如，对于搜索引擎的爬虫系统来讲，收录重复的网页是毫无心义的，只会形成存储和计算

>>阅读原文<<