算法之海量数据处理

1.散列分治或MapReduce 这种题目很多，大多都相似一通，针对数据特别多的情况下，一般可以选择MapReduce或者散列分治这两种方式其实思想很相似的只有些许不同；针对数据量不大的情况下可是直接加载进内存来的可以使用Trie树，红黑树这一套，hash表都可以使用。 寻找共同的URL 给定两个a和b文件，各存放50亿个URL，每个URL占64字节，内存限制4GB，请找出a和b文件中共同的URL

>>阅读原文<<