文本相似度(小说去重)

之前写了爬虫爬取小说，总文件大概70G。但如果换小说网站进行爬取会重复爬取同样的小说，产生不必要的空间浪费。 由于不同网站对小说命名不同，例如:小说名 斗罗大陆.txt，在小说网A命名为斗罗大陆，小说B<斗罗大陆>,小说C 斗罗大陆全集什么的。 如果从小说名来判断会有很多麻烦，并且有的小说网站小说名和小说内容严重不符，因此根据小说名来判断被否决。 随着研究的深入，发现一种可行方法。一篇文章由词组成

>>阅读原文<<