海量数据处理

1）给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？ 初步分析： 100G普通机器内存中肯定是放不下的，目前使用的IP地址相当于一个32位的字符串，所以我们考虑切分，假设有1G可用内存我们切分为100份，那我们需要把这100个文件全部遍历，每一次出现的IP地址进行统计，最后找出出现次数最多的IP地址，此办法可行但是效率不高。 优化： 把这32位

>>阅读原文<<