文本去重的技术方案讨论（一）

对于文本去重来说，我个人处理上会从数据量、文本特征、文本长度（短文本、长文本）几个方向考虑。 常见的去重任务，如网页去重，帖子去重，评论去重等等。 好的去重任务是不仅比对文本的相似性，还要比对语义上的相似性。 下面我们来介绍下文本去重的方案。 1.传统签名算法与文本完整性判断 一、传统签名算法与文本完整性判断 问题抛出： （1）运维上线一个bin文件，将文件分发到4台线上机器上，如何判断bin文件

>>阅读原文<<