文本指纹 自动判断文章是否抄袭

最简单的文本相似性计算方法可以利用空间向量模型，计算分词后的文本的特征向量的相似性，这种方法存在效率的严重弊端，无法针对海量的文本进行两两的相似性判断。模仿生物学指纹的特点，对每个文本构造一个指纹，来作为该文本的标识，从形式上来看指纹一般为固定长度较短的字符串。 最简单的指纹构造方式就是计算文本的md5或者sha哈希值，但易发生“雪崩效应”，极小的文本差异通过md5或者sha计算出来的指纹就会不同

>>阅读原文<<