面试|海量文本去重~simhash

simhash算法是google发明的，专门用于海量文本去重的需求，因此在这里记录一下simhash工程化落地问题。mysql 下面我说的都是工程化落地步骤，不只仅是理论。面试 背景 互联网上，一篇文章被抄袭来抄袭去，转载来转载去。redis 被抄袭的文章通常不改，或者少许改动就发表了，因此判重并非等于的关系，而是类似判断，这个判别的算法就是simhash。算法 simhash计算 给定一篇文章内

>>阅读原文<<