浅析海量数据处理问题

生活中我们经常会遇到一些海量数据处理的问题，那么怎样的问题就算是海量数据了呢？来看以下这几个问题： 给定一个大小超过 100G 的文件, 其中存在 IP 地址, 找到其中出现次数最多的 IP 地址 。 给定100亿个整数, 找到其中只出现一次的整数(位图变形, 用两位来表示次数)。 有两个文件, 分别有100亿个query(查询词, 字符串), 只有1G内存, 找到两个文件的交集。 给上千个文件,

>>阅读原文<<