大数据去除重复--实战（一）

          最近快过年了，来了一个紧急任务，加班加点的一周，终于上线了。也没多少时间去研究出去重复数据的算法，上一篇文章的算法，理论是可以的！但是由于我采用的行迭代的方式，JVM 会出现栈的深度溢出，我就换了一种方式，这里再次介绍给大家：           回顾一下题目：超过内存限制的URL，去除重复数据！               我的方法是根据hashCode 范围进行分组。比如文

>>阅读原文<<