海量数据处理问题

1.给定一个大小超过 100G 的文件, 其中存在 IP 地址, 找到其中出现次数最多的 IP 地址(hash文件切分) 思路：显然我们是不可能将这100G内存直接加载到内存中取处理的。所以我们可以对大文件进行划分，前提当然是相同IP地址会被划分在一块。假定我们将这个文件分为1024份，那么一个文件的大小大概为100M，然后利用哈希算法对IP地址进行映射，得到的值%1024，将同一个IP地址映射到

>>阅读原文<<