如何设计大量数据的查重和去重

至少在现阶段内存和CPU的执行效率在固定时间内是有限的，大量的数据的查重和去重处理不可能同时在内存中进行。就像外部排序算法和内部排序算法差异很大，遇到此类大量数据查重问题对算法进行设计是有必要的。算法 ConcurrentHashMap 数据量不大的时候能够采用concurrentHashMap来操做，在内存中对数据进行同步的CRUD操做。数组 这种作法的好处是很明显的，逻辑处理很简单易懂。可是会

>>阅读原文<<