10GB以上TXT去重方法介绍

文本去重，网上有不少软件能够实现，可是实际上没有一个软件能够作到2GB以上彻底去重，其根本缘由在于：数据库 （1）如今去重大多数采用哈希表，哈希表不重复元素暂存于内存中，因此随着数据增长，内存不断增长，一直到内存耗尽，实际上操做系统不会让咱们这么一直在内存添加数据，并且是会有限制的微信 （2）32操做系统和64位操做系统去重支持最大数不同，64位支持更多数据去重，可是不能用32位程序在64操做系统

>>阅读原文<<