海量数据处理

海量数据处理：是针对数据量较大，导致内存不足或十分占内存的情况而有的解决算法 1 给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？ 【问题分析】 （1）日志文件一般为一行一条日志，并且有一定的格式，每一条日志中含一个IP地址， 我们可以看一下这个笔记的日志信息，简单有一个认识： （2）日志文件共100G，占用内存过大，可以尝试对100G的文件

>>阅读原文<<